圖片由AI生成
痛點(diǎn)
電影修復(fù)工藝繁雜瑣碎，即便是經(jīng)驗(yàn)豐富的修復(fù)師，也需要1個(gè)月的時(shí)間。火山引擎首次將視覺(jué)大模型應(yīng)用于老片修復(fù)場(chǎng)景，借助其強(qiáng)大的生成能力和豐富的先驗(yàn)知識(shí)，實(shí)現(xiàn)修復(fù)效果在清晰度、色彩、流暢度和瑕疵消除等方面的全方位提升。
解決方案
針對(duì)老舊電影修復(fù)的特殊場(chǎng)景，火山引擎對(duì)視覺(jué)大模型做了三方面算法優(yōu)化：在圖像生成方面，通過(guò)控制模型的邊界條件、強(qiáng)化高質(zhì)量生成空間等手段，顯著提升大模型的圖像輸出質(zhì)量；在視頻場(chǎng)景里，通過(guò)采用設(shè)計(jì)時(shí)域的自編碼器、光流特征對(duì)齊、時(shí)域條件約束等技術(shù)手段，讓大模型在修復(fù)的過(guò)程中可以使用前后幀的信息，更好地處理視頻任務(wù)；火山引擎還聯(lián)合Intel在算法和工程上進(jìn)行了多項(xiàng)優(yōu)化，顯著提升大模型在4K場(chǎng)景下的處理效率并兼顧算力成本。
老港片修復(fù)最大的挑戰(zhàn)不是算法技術(shù)，而是如何保留影片原有的藝術(shù)風(fēng)格�；鹕揭婧椭袊�(guó)電影資料館不斷測(cè)試和反復(fù)調(diào)優(yōu)，才達(dá)到算法服務(wù)于藝術(shù)的理想效果。以色偏和色彩的處理為例，此前的AI算法能夠完成和優(yōu)化一系列客觀上色彩的問(wèn)題，但對(duì)于部分藝術(shù)色彩上的還原容易產(chǎn)生偏差，火山引擎摸索了一種AI加速藝術(shù)修復(fù)的方案，能通過(guò)學(xué)習(xí)人工修復(fù)片段的數(shù)據(jù)獲得更理想的色彩方案效果，從而加速修復(fù)進(jìn)程。
成效
整體來(lái)看，大模型生成能力強(qiáng)，修復(fù)效果優(yōu)于之前的算法，畫(huà)面細(xì)節(jié)更自然；同時(shí)，大模型具有非常強(qiáng)的信息結(jié)構(gòu)化能力，在學(xué)習(xí)了海量數(shù)據(jù)后，可以在其中提煉出大量的知識(shí)并“存儲(chǔ)”在模型參數(shù)之中，其生成空間更豐富，能夠應(yīng)對(duì)更多的修復(fù)場(chǎng)景。
