智東西（公眾號：zhidxcom）
作者| 香草
編輯| 李水青
智東西2月3日報道，正值小年夜，一場主題為“當(dāng)科技遇見戲曲之美-甲辰龍年小年夜戲曲煥新”的直播活動拉開了“中國戲曲文化數(shù)字煥新行動”的序幕。該直播由文化和旅游部藝術(shù)發(fā)展中心聯(lián)合騰訊共同發(fā)起，圍繞詞韻之美、程式之美、影像之美和煥新之美四個篇章，創(chuàng)新演繹了京劇、越劇、昆曲、川劇等劇種的經(jīng)典唱段。
▲戲曲演員現(xiàn)場表演（圖源：騰訊）
除了現(xiàn)場表演外，直播還通過騰訊多媒體實(shí)驗(yàn)室的AI修復(fù)、6DoF等數(shù)字技術(shù)高清再現(xiàn)了近50部經(jīng)典劇目，讓觀眾“零距離”體驗(yàn)戲曲的“唱念做打”，在一招一式中沉浸式感受中國傳統(tǒng)文化的魅力，共吸引超700萬名線上觀眾。
在直播之前，智東西與少數(shù)媒體與戲曲煥新項(xiàng)目的負(fù)責(zé)人進(jìn)行了深入交流。
騰訊可持續(xù)社會價值事業(yè)部數(shù)字文化實(shí)驗(yàn)室負(fù)責(zé)人舒展告訴智東西，在戲曲等傳統(tǒng)文化的傳承中，面臨的挑戰(zhàn)一是許多經(jīng)典曲目格式老舊，傳播方式固化，難以引起年輕人的共鳴；其次，大量珍貴的戲曲影像資料以膠片形式留存，很多因保管不善已經(jīng)殘損；第三，傳統(tǒng)的師傅帶徒弟教學(xué)方式比較受限。
面對這些挑戰(zhàn)，團(tuán)隊(duì)選擇通過新興的數(shù)字技術(shù)，從保護(hù)到傳承，再到活化、利用，從各個維度來助力戲曲文化的傳播。其中，團(tuán)隊(duì)基于騰訊多媒體實(shí)驗(yàn)室自研的AI影像修復(fù)技術(shù)，對經(jīng)典戲曲劇目影像資料進(jìn)行數(shù)字化的搶救、搶修，以保障珍貴藝作品得以流轉(zhuǎn)；團(tuán)隊(duì)還聚焦重點(diǎn)劇種，建設(shè)戲曲數(shù)字資源庫，啟動程式錄制工作，利用體積攝影錄制專業(yè)戲曲演員經(jīng)典程式，并以6DoF流媒體傳輸技術(shù)最終交互呈現(xiàn)。
一、AI
修復(fù)殘損影像，打造經(jīng)典作品數(shù)字修復(fù)樣板
老一輩藝術(shù)家的珍貴影像大多數(shù)上世紀(jì)五六十年代拍攝錄制，多以膠片、磁帶為存儲介質(zhì)，由于時間推移，已出現(xiàn)褪色、劃痕、噪點(diǎn)等視聽問題。
針對這些問題，騰訊多媒體實(shí)驗(yàn)室基于多年的多媒體通信和處理研發(fā)經(jīng)驗(yàn)，利用AI影像修復(fù)技術(shù)對經(jīng)典戲曲影像資料進(jìn)行修復(fù)和呈現(xiàn)。據(jù)悉，此前面向老片修復(fù)場景還專門推出“超清沉浸感修復(fù)引擎”技術(shù)解決方案。
▲修復(fù)前后的《花木蘭》戲劇影像資料（圖源：騰訊）
在修復(fù)的過程中，團(tuán)隊(duì)也不免遇到許多技術(shù)層面的難題。如影像資料時間跨度大、數(shù)據(jù)量少、燈光色彩復(fù)雜等，對算法帶來一定的挑戰(zhàn)。
騰訊多媒體實(shí)驗(yàn)室擴(kuò)展媒體中心負(fù)責(zé)人、國際標(biāo)準(zhǔn)專家許曉中談道，為了克服數(shù)據(jù)量少的困難，團(tuán)隊(duì)做了很多方面的嘗試，如給定一個可以用作訓(xùn)練的數(shù)據(jù)內(nèi)容，想辦法充分挖掘其中的信息，包括對一些相關(guān)的片段進(jìn)行各種組合，使它產(chǎn)生多樣化的數(shù)據(jù)等方式。
據(jù)介紹，AI影像修復(fù)技術(shù)主要分為四大模塊：智能分析、畫質(zhì)修復(fù)、畫質(zhì)增強(qiáng)以及智能編碼。
智能分析指的是利用多種人工智能評估算法，對視頻內(nèi)容進(jìn)行幀級別、場景級別和視頻級別等多維度的分析，評估視頻的運(yùn)動和紋理復(fù)雜度、壓縮失真程度等，得到不同維度的內(nèi)容分析結(jié)果。
結(jié)合智能分析得到的信息，畫質(zhì)修復(fù)模塊可針對老片中常見的豎線、雪花點(diǎn)、噪聲、壓縮失真、抖動等問題進(jìn)行修復(fù)。其中“人臉修復(fù)”的步驟基于團(tuán)隊(duì)自研的人臉修復(fù)模型，利用人臉檢測、人臉修復(fù)和融合模塊，將圖像修復(fù)遷移到視頻過程中并加入幀間穩(wěn)定性處理，解決了人臉檢測穩(wěn)定性。
在修復(fù)模塊的基礎(chǔ)上，畫質(zhì)增強(qiáng)模塊將利用最佳視頻增強(qiáng)算法，對畫面進(jìn)行多維度畫質(zhì)提升，包括在空間、時間上對視頻的分辨率和幀率進(jìn)行提升，在空域上提升細(xì)節(jié)清晰度、色彩豐富度等。
最后，根據(jù)視頻分析以及預(yù)編碼的結(jié)果，智能編碼模塊自適應(yīng)調(diào)整視頻輸出碼率以及各種編碼參數(shù)，并結(jié)合ROI（感興趣區(qū)域）編碼、場景自適應(yīng)編碼，在減小輸出視頻文件大孝降低視頻傳輸成本的同時，保證視頻的主觀質(zhì)量不受影響，實(shí)現(xiàn)最佳的畫面效果。
▲修復(fù)前后的《雁蕩山》戲劇影像資料（圖源：騰訊）
在這四個模塊中，每個算法都由騰訊云多媒體實(shí)驗(yàn)室自研自發(fā)，實(shí)現(xiàn)了優(yōu)質(zhì)的劃痕修復(fù)和“超分辨率”，在放大視頻分辨率時明顯提升細(xì)節(jié)清晰度，同時通過GAN（生成對抗網(wǎng)絡(luò)）生成一些細(xì)節(jié)。
二、3D
老師打破時空壁壘，傳統(tǒng)戲曲“活”起來了
除了AI修復(fù)影像資料外，本次直播還有另一項(xiàng)引人注目的演示6DoF視頻，也叫體積視頻。
6DoF是指6自由度視頻技術(shù)，不同于傳統(tǒng)平面視頻只能看固定視角畫面、VR360視頻以用戶為中心看360度場景，6DoF在360度基礎(chǔ)上增加位移，用戶可以在觀看畫面中自由行走，選擇自己的視角進(jìn)行觀看。
對戲曲行業(yè)來說，基于6DoF技術(shù)錄制專業(yè)戲曲演員的經(jīng)典程式，能為戲曲教學(xué)、研究等呈現(xiàn)立體、多維的細(xì)節(jié)。在“抖水袖”和“臥魚”視頻中，6DoF技術(shù)展現(xiàn)了演員手腕轉(zhuǎn)動、眼波流轉(zhuǎn)等十分微小的動作和情緒。
▲6DoF視頻演示“抖水袖”（圖源：騰訊）
在技術(shù)層面，6DoF技術(shù)主要面臨的難點(diǎn)包括數(shù)據(jù)量大、計(jì)算量大、下載時間長、無現(xiàn)成文件標(biāo)準(zhǔn)、終端應(yīng)用受限等。
體積視頻每一幀都是一個3D模型，數(shù)據(jù)量大帶來傳輸困難，同時3D模型數(shù)據(jù)編碼壓縮、解碼渲染計(jì)算量大，需要終端具有較好的性能進(jìn)行播放渲染。不同于普通視頻能夠邊下邊播，傳統(tǒng)體積視頻文件需全部下載完成才能播放，下載耗時長。此外，體積視頻沒有現(xiàn)成的文件標(biāo)準(zhǔn)，無法使用現(xiàn)有的視頻基礎(chǔ)設(shè)施，在視頻傳輸、播放等應(yīng)用生態(tài)受限。
▲6DoF視頻演示“臥魚”（圖源：騰訊）
針對這些痛點(diǎn)，騰訊多媒體實(shí)驗(yàn)室6DoF視頻技術(shù)解決方案分為三大模塊。
首先是數(shù)據(jù)壓縮。團(tuán)隊(duì)采用自研新一代3D mesh編解碼器，在保持模型細(xì)節(jié)質(zhì)量的前提下，大幅度減少模型表達(dá)所需要的面片數(shù)量，從而有效降低存儲和傳輸動態(tài)高質(zhì)量3D模型所需要的帶寬，對比傳統(tǒng)方案降低50%以上數(shù)據(jù)量。
針對Texture紋理數(shù)據(jù)，團(tuán)隊(duì)采用實(shí)驗(yàn)室自研編碼器，分析紋理數(shù)據(jù)在時域和空間相關(guān)性，同時結(jié)合場景自適應(yīng)編碼，進(jìn)一步提升壓縮效率，減少數(shù)據(jù)量。整體實(shí)現(xiàn)多維數(shù)據(jù)25-50倍高壓縮比，從根源上解決多維數(shù)據(jù)數(shù)據(jù)量大的問題。
其次是數(shù)據(jù)封裝。針對現(xiàn)有體積視頻文件無統(tǒng)一標(biāo)準(zhǔn)、需整體下載完才能播放等難點(diǎn)，實(shí)驗(yàn)室研發(fā)了mesh數(shù)據(jù)和紋理數(shù)據(jù)融合方案，采用流媒體格式標(biāo)準(zhǔn)，能夠復(fù)用現(xiàn)有視頻基礎(chǔ)設(shè)施，實(shí)現(xiàn)漸進(jìn)式文件加載，從而實(shí)現(xiàn)邊下載邊播放。
最后是播放渲染。在播放端，團(tuán)隊(duì)通過自研高效解碼渲染算法，實(shí)現(xiàn)支持多模型、多材質(zhì)和物理渲染，同時支持4K/8K超高清紋理圖，滿足對圖形質(zhì)量有更高要求的應(yīng)用場景。在播放能力上，突破APP限制，實(shí)現(xiàn)輕量化網(wǎng)頁端播放支持，同時實(shí)現(xiàn)包括手機(jī)、頭顯、PC等全終端播放支持。
結(jié)語：數(shù)字技術(shù)助力傳統(tǒng)文化走向年輕觀眾
在采訪過程中，中國藝術(shù)研究院戲曲研究所所長王馗屢次提到“年輕觀眾”。長期以來，戲曲界一直把爭取年輕觀眾當(dāng)作很重要的發(fā)展的目標(biāo)。因?yàn)橛辛四贻p的觀眾，一代代的傳承才有真正生態(tài)的空間。
如今在數(shù)字技術(shù)的加持下，戲曲的生態(tài)空間遠(yuǎn)遠(yuǎn)超過了局限于具體的區(qū)域、地方的限制，變得更加的寬廣。科技手段在戲曲的教育、傳承、表演、推廣等多個方面是起著非常重要的作用，介入到戲曲傳承發(fā)展的各個節(jié)點(diǎn)。
未來，我們希望能看到更多新興技術(shù)應(yīng)用在戲曲及更多傳統(tǒng)文化當(dāng)中，并推動傳統(tǒng)文化面向大眾層面的創(chuàng)新傳播，拉近其與當(dāng)代年輕人的距離。
