夢晨 西風 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
剛剛，奧特曼發(fā)布OpenAI首個視頻生成模型Sora。
完美繼承DALLE 3的畫質和遵循指令能力，能生成長達1分鐘的高清視頻。
AI想象中的龍年春節(jié)，紅旗招展人山人海。
有緊跟舞龍隊伍抬頭好奇官網的兒童，還有不少人掏出手機邊跟邊拍，海量人物角色各有各的行為。
雨后東京街頭，潮濕地面反射霓虹燈光影效果堪比RTX ON。
行駛中的列車窗外偶遇遮擋，車內人物倒影短暫出現(xiàn)非常驚艷。
也可以來一段好萊塢大片質感的電影預告片：
豎屏超近景視角下，這只蜥蜴細節(jié)拉滿：
網友直呼game over，工作要丟了：
甚至有人已經開始“悼念”一整個行業(yè)：
AI理解運動中的物理世界
OpenAI表示，正在教AI理解和模擬運動中的物理世界，目標是訓練模型來幫助人們解決需要現(xiàn)實世界交互的問題
根據文本提示生成視頻，僅僅是整個計劃其中的一步。
目前Sora已經能生成具有多個角色、包含特定運動的復雜場景，不僅能理解用戶在提示中提出的要求，還了解這些物體在物理世界中的存在方式。
Sora還可以在單個視頻中創(chuàng)建多個鏡頭，并依靠對語言的深入理解準確地解釋提示詞，保留角色和視覺風格。
對于Sora當前存在的弱點，OpenAI也不避諱，指出它可能難以準確模擬復雜場景的物理原理，并且可能無法理解因果關系。
例如“五只灰狼幼崽在一條偏僻的碎石路上互相嬉戲、追逐”，狼的數(shù)量會變化，一些憑空出現(xiàn)或消失。
該模型還可能混淆提示的空間細節(jié)，例如混淆左右，并且可能難以精確描述隨著時間推移發(fā)生的事件，例如遵循特定的相機軌跡。
如提示詞“籃球穿過籃筐然后爆炸”中，籃球沒有正確被籃筐阻擋。
技術方面，目前OpenAI透露的不多，簡單介紹如下：
Sora是一種擴散模型，從噪聲開始，能夠一次生成整個視頻或擴展視頻的長度，
關鍵之處在于一次生成多幀的預測，確保畫面主體即使暫時離開視野也能保持不變。
與GPT模型類似，Sora使用了Transformer架構，有很強的擴展性。
在數(shù)據方面，OpenAI將視頻和圖像表示為patch，類似于GPT中的token。
通過這種統(tǒng)一的數(shù)據表示方式，可以在比以前更廣泛的視覺數(shù)據上訓練模型，涵蓋不同的持續(xù)時間、分辨率和縱橫比。
Sora建立在過去對DALLE和GPT模型的研究之上。它使用DALLE 3的重述提示詞技術，為視覺訓練數(shù)據生成高度描述性的標注，因此能夠更忠實地遵循用戶的文本指令。
除了能夠僅根據文本指令生成視頻之外，該模型還能夠獲取現(xiàn)有的靜態(tài)圖像并從中生成視頻，準確地讓圖像內容動起來并關注小細節(jié)。
該模型還可以獲取現(xiàn)有視頻并對其進行擴展或填充缺失的幀，請參閱技術論文了解更多信息（晚些時候發(fā)布）。
Sora 是能夠理解和模擬現(xiàn)實世界的模型的基礎，OpenAI相信這一功能將成為實現(xiàn)AGI的重要里程碑。
奧特曼在線接單
目前已有一些視覺藝術家、設計師和電影制作人（以及OpenAI員工）獲得了Sora訪問權限。
他們開始不斷po出新的作品，奧特曼也開始了在線接單模式。
帶上你的提示詞@sama，就有可能收到生成好的視頻回復。
