作者|付夢珍
凌晨，OpenAI 介紹了其在 AI 視頻領域的新技術(shù)進展：我們打造了一種名為Sora的文本到視頻模型。Sora能夠生成長達一分鐘的視頻，同時保持視覺質(zhì)量和對用戶提示的遵循。
簡單來說，Sora可以根據(jù)簡單的提示和靜態(tài)圖像，生成包含多個角色的視頻畫面。此外，Sora還可以自己“腦補”、“擴展”現(xiàn)有視頻片段。
用詞語總結(jié)Sora，那就是：“60s超長長度”“單視頻多角度鏡頭”“充滿情感的角色”“高度擬真的細節(jié)”和“世界模型”。
這項技術(shù)一經(jīng)發(fā)布，立刻引爆大眾，令無數(shù)人發(fā)出感嘆：
“OpenAI第三個大招向所有影視公司拋出二向箔”
“徹底端掉視頻行業(yè)飯碗！OpenAI首個AI視頻模型炸裂登場”
“60秒一鏡到底驚人，世界模型真來了？”
“太炸了！OpenAI深夜發(fā)布，文字直接生成視頻！網(wǎng)友：我要失業(yè)了”
“OpenAI再次舉起屠刀，Sora血洗行業(yè)”
OpenAI 在官方網(wǎng)站特別指出，所有的視頻都是由 Sora 直接生成的，沒有做過后期調(diào)整。
OpenAI指出，Sora與 GPT 模型類似，也使用了diffusion transformer架構(gòu)，是一種擴散型變換器模型。OpenAI將視頻和圖像的數(shù)據(jù)表示為patch，類似GPT中的token。技術(shù)上，Sora生成的視頻中，主體可以在三維視頻中進行連續(xù)運動。
當無數(shù)人都在等待OpenAI 公測的時候，Sam Altman已經(jīng)自己玩嗨了。
他發(fā)推瘋狂安利的同時，還親自下場為網(wǎng)友生成視頻：你們隨意來prompt，我一一輸出。
這時，Sam Altman的身份是剪輯師？攝影師？演員？還是導演？
去年，娛樂資本論在采訪AI創(chuàng)業(yè)者時，有人提出AI視頻將在今年迎來大爆發(fā)，前途不可限量。
沒想到，時間來得如此之快。
那么，Sora將會為世界帶來哪些改變？
01 一段文字就能生成短片，視頻內(nèi)容將會大規(guī)模爆發(fā)，原有的崗位結(jié)構(gòu)將會發(fā)生變化，例如攝影師、剪輯將不再存在，編劇可以直接生成電影；
02 講故事的能力會越來越重要；
03 如果你不會講故事，那么從古書、小說中爬取故事的能力也會很重要，人類歷史上的大量文字內(nèi)容，將會以視頻內(nèi)容的形式再現(xiàn)；
04 Sora生成的內(nèi)容，將會最先在短視頻領域爆火。因為這個行業(yè)對技術(shù)的要求低，且Sora可以相對低成本地產(chǎn)出大量具備獵奇性的內(nèi)容；
05 特效行業(yè)的諸多鏡頭可以直接使用AI生成；
06 以后拍戲不需要這么多演員了；
07游戲、動畫行業(yè)的制作成本將會被大大降低，建模過程可以直接省略了；
08 以后自己寫劇本、自己生成視頻，再加上人機交互的機器，《頭號玩家》的劇情會加速到來；
09 人人都有機會成為AI導演；
10 Sora將會加速數(shù)字人、自動駕駛、智慧成本、元宇宙等行業(yè)的發(fā)展，降低了數(shù)字資產(chǎn)的成本；
11 AI視頻賽道將會迎來新的競爭點。此前被眾人看好的Pika、Runway需要重新思考發(fā)展方向；
12 當視頻被生成以后，世界是真實的可能性越來越微乎其微。繼電話、數(shù)字人詐騙后，新的詐騙手段也會層出不窮；
13 客觀來看，Sora的視頻現(xiàn)在還存在著不連貫幀數(shù)、卡癥斷幀等問題，準確性不足等問題，但這些都會隨著技術(shù)的進步而解決。
VOL.1
世界模型意味著什么？
維特根斯坦在《邏輯哲學論》里說，句子是實在的圖像語言，意思是句子、語言可以影射世界的真實狀態(tài)，語言就是我們的世界模型。
而現(xiàn)在，Sora已經(jīng)通過大量的數(shù)據(jù)，能夠理解物理世界的運動規(guī)律，學會了關于3D幾何形狀和一致性的知識，通過運動、反射等方式，創(chuàng)建了一個包含物理規(guī)則、與真實世界接近的虛擬世界。
某種程度上來說，Sora已經(jīng)可以像人一樣，對世界有了全面準確地認知。
例如，Sora在生成“色彩繽紛的魚類和海洋生物充斥的，由紙藝精心構(gòu)建的珊瑚礁世界”為主題的視頻中，可以自己通過運鏡拍攝，展現(xiàn)內(nèi)容。
項目研究員Bill Peebles指出，“視頻中實際上發(fā)生了多次鏡頭轉(zhuǎn)換這些鏡頭并非后期拼接而成，而是模型一氣呵成地生成的。我們并沒有特別指令它這么做，它卻能自動完成。”
VOL.2
Sora的成果
提示詞：一位時尚女性走在充滿溫暖霓虹燈和動畫城市標牌的東京街道上。她穿著黑色皮夾克、紅色長裙和黑色靴子，拎著黑色錢包。她戴著太陽鏡，涂著紅色口紅。她走路自信又隨意。街道潮濕且反光，在彩色燈光的照射下形成鏡面效果。許多行人走來走去。
一鏡到底的60秒視頻里，主體人物和背景都十分穩(wěn)定，且全景、特寫、鏡頭推拉搖移都有，有著復雜的攝影機運動。細節(jié)上水中的倒影也在變化。主體人物走動的時候，背景的招牌也在不斷發(fā)生變化。有氛圍，風格絢麗，堪比電影大片的質(zhì)感。以后導演做創(chuàng)投的時候可以直接用AI生成短片，無需花高價拍攝了。
提示詞：一個美麗的剪影動畫展示了一只狼對著月亮嚎叫，感到孤獨，直到它找到狼群。
整個視頻通過藍色的背影和狼的剪影，極好地展現(xiàn)出了狼的孤獨，劇情上從一匹狼到多匹狼過渡自然，鏡頭語言上全景和中景、特寫交替切換。Sora不僅懂拍攝，還可以識別人類的情緒。
提示詞：與中國龍一起慶祝中國農(nóng)歷新年的視頻。
龍的形象十分真實且符合節(jié)日氛圍，人群也很有春節(jié)的氛圍。
提示詞：一位24歲女子在魔法時刻站在馬拉喀什，眨眼的特寫鏡頭，70毫米拍攝的電影膠片，景深，生動的色彩，電影。
視頻中，人物的皮膚細節(jié)、睫毛都是十分逼真，和真人實拍幾乎沒有差別。
VOL.3
結(jié)語
Sora技術(shù)報告詳細內(nèi)容可以看技術(shù)文檔：
https://openai.com/research/video-generation-models-as-world-simulators
OpenAI也宣布，將在今天晚些時候，更新技術(shù)論文。不過根據(jù)Openai之前的發(fā)布風格，當真正有用的東西出來的時候，他們只會公開有限的東西，就像GPT4本身到現(xiàn)在也沒有發(fā)布詳細的技術(shù)參數(shù)。
或許，當Sora最終跟大家見面，就是在GPT5和ChatGPT相結(jié)合發(fā)布的時候。先不用說那時會有多炸裂的改進，就算跟現(xiàn)在Pika或Gen-2相近的視頻生成功能，可以在ChatGPT不額外花錢使用，那也將會給用戶帶來很大的改變。
