01
引言
畫面中心，一個(gè)身穿國風(fēng)服飾的女子從半空墜到幻境般的地面，一個(gè)男聲響起，“千年前，世人將你命名為天妤……”
這是去年4月發(fā)布的抖音和Tiktok短劇《千壁尋蹤》的開場畫面，評(píng)論區(qū)的高贊評(píng)論是，“我愛這種眼妝！太美了！”
天妤劇照
但天妤并不是一位美妝博主，而是中國首個(gè)出海的國風(fēng)超寫實(shí)虛擬數(shù)字人。以短劇女主角身份出道之后，天妤于今年年初成為壹心娛樂旗下“藝人”。她背后真正的創(chuàng)造者，則是近年專注于虛擬數(shù)字人賽道的上市公司天娛數(shù)科。
現(xiàn)在天娛數(shù)科想做的，是讓天妤這樣的超寫實(shí)虛擬人制作變得更便捷、成本更低，且能應(yīng)用到更廣泛的日常生活場景中。畢竟，不是每個(gè)人都能擁有3D掃描儀、基于計(jì)算機(jī)視覺或慣性動(dòng)作捕捉的專業(yè)級(jí)設(shè)備。
2023年7月4日，天娛數(shù)科宣布與銀牛微電子成立合資公司。銀牛微電子以3D機(jī)器視覺和AI的底層硬件平臺(tái)實(shí)力見長，天娛則在AI和軟件應(yīng)用層面有更豐富的積累，在軟硬件融合的背景下，雙方將共同研發(fā)面向元宇宙及空間計(jì)算應(yīng)用場景的便攜式3D視覺感知產(chǎn)品，以實(shí)現(xiàn)虛擬數(shù)字人低成本、短周期、批量化的生產(chǎn)制作，打造低延遲、高精度、沉浸式互動(dòng)體驗(yàn)，降低進(jìn)入元宇宙的門檻。
這也意味著，虛擬人從專業(yè)級(jí)完成消費(fèi)級(jí)的轉(zhuǎn)變，未來人人有一個(gè)自己的虛擬人數(shù)位分身，正加速成為現(xiàn)實(shí)。
02
當(dāng)“捏”一個(gè)虛擬人，就像拍照一樣簡單
以傳統(tǒng)的底層架構(gòu)技術(shù)，打造一個(gè)超寫實(shí)的虛擬人耗時(shí)長，過程也相對(duì)復(fù)雜，通常需要經(jīng)歷建模、驅(qū)動(dòng)和渲染三個(gè)主要階段。
天娛數(shù)科與銀牛微電子此次達(dá)成的戰(zhàn)略合作，初步規(guī)劃了三款產(chǎn)品，分別是3D深度相機(jī)、3D攝像機(jī)和數(shù)字人3D數(shù)據(jù)采集系統(tǒng)。這三款產(chǎn)品，正好對(duì)應(yīng)了虛擬人制作的三個(gè)關(guān)鍵環(huán)節(jié)。
天娛數(shù)科旗下子公司元境科技創(chuàng)始人&CEO王智武早在2016年就入局了虛擬數(shù)字人賽道，他在36氪的直播訪談中表示，如果使用人工建模，考慮到中途反復(fù)修改等不確定因素，一般要花費(fèi)一兩個(gè)月甚至半年時(shí)間，成本也從幾十到上百萬不等。天娛和銀牛共同開發(fā)的這款3D深度相機(jī)，主要應(yīng)用于虛擬人掃描與自動(dòng)化建模，能優(yōu)化虛擬數(shù)字人的制作流程，降低生產(chǎn)周期，加速數(shù)字人低成本批量生產(chǎn)，為虛擬數(shù)字人的普及鋪平道路。
在半導(dǎo)體行業(yè)有著20年研發(fā)與管理經(jīng)驗(yàn)的銀牛微電子CEO錢哲弘談到，比起傳統(tǒng)相機(jī)掃描采集的2D數(shù)據(jù)，銀牛微電子自研的3D雙目立體視覺及多傳感器融合視覺處理的人工智能芯片，可以讓這款相機(jī)直接采集3D數(shù)據(jù)，節(jié)省了將2D轉(zhuǎn)為3D的算力資源和時(shí)間成本。
除了利好從業(yè)者，這款3D深度相機(jī)也將極大降低外行人的使用成本無需學(xué)習(xí)操作界面復(fù)雜的三維軟件，像拍照一樣使用3D深度相機(jī)，“人人都可以成為建模師。”
回顧相機(jī)本身的發(fā)展歷程，從黑白到彩色，從膠卷時(shí)代到數(shù)碼時(shí)代，從低分辨率到高分辨率，再從2D到3D，如今機(jī)器視覺能夠呈現(xiàn)的，早已不再是一張照片。AI時(shí)代，3D深度相機(jī)有望成為新的視覺前景。根據(jù)36氪此前的報(bào)道，工業(yè)3D視覺領(lǐng)域已有千億規(guī)模的市常在智能升級(jí)的趨勢下，便攜、可手持的3D深度相機(jī)會(huì)出現(xiàn)更多非工業(yè)、生活化的場景應(yīng)用，譬如將3D深度相機(jī)集成到手機(jī)或消費(fèi)電子產(chǎn)品，幫助人們獲得更好的健身、游戲和娛樂體驗(yàn)。
更不用提未來的元宇宙，本就是一個(gè)天然的3D視覺互聯(lián)網(wǎng)。
03
跑向消費(fèi)級(jí)虛擬人的“最后一公里”
3D深度相機(jī)，只是天娛數(shù)科與銀牛微電子在虛擬人產(chǎn)業(yè)鏈發(fā)力的第一步。
在元境科技辦公區(qū)擺放的一排電腦顯示屏中，七八個(gè)主播正在直播間講解帶貨。如果不近前仔細(xì)辨別，甚至看不出他們是虛擬人。
和天妤這樣擁有“人設(shè)”的身份型虛擬人相比，直播間主播屬于服務(wù)型的虛擬人。最近幾年，時(shí)不時(shí)在手機(jī)上刷到個(gè)虛擬人不再令人驚奇。尤其是最近半年在生成式人工智能技術(shù)加持下，在直播、影視、時(shí)尚、傳媒、金融和文旅等領(lǐng)域，服務(wù)型虛擬人的身影開始大量涌現(xiàn)，并有了比較成熟的商業(yè)化案例。“我們應(yīng)用于電商直播場景的AI數(shù)字主播目前成本可控制在幾百元，真正幫助商家實(shí)現(xiàn)降本增效。”王智武說。
從1982年第一個(gè)虛擬偶像林明美誕生至今，虛擬人產(chǎn)業(yè)在40年間取得了巨大進(jìn)步，越來越多人都逐漸明確了虛擬人的巨大潛力，但它距離人人可用的“消費(fèi)級(jí)”似乎總差著最后一公里。
要想讓虛擬人在C端大規(guī)模應(yīng)用，除了低成本、短周期、能批量化生產(chǎn)，還要足夠好用和易用。天娛和銀牛共同開發(fā)的3D攝像機(jī)，在“建模”、“驅(qū)動(dòng)”和應(yīng)用的便捷性上，進(jìn)一步提高了人們的想象空間。
“目前市面上已經(jīng)出現(xiàn)了一些3D設(shè)備，但難以普遍應(yīng)用，原因就在于還原度、分辨率和精度都不夠理想。”銀牛微電子CEO錢哲弘表示，銀牛的技術(shù)可以保障3D圖像的高實(shí)時(shí)性、高分辨率和高精度。這次和天娛合作的3D攝像機(jī)可以理解為是一款雙目攝像機(jī)，通過銀牛的自研芯片，做到延時(shí)小于1毫秒，分辨率高達(dá)1080p，并且精度達(dá)到亞毫米級(jí)。不同于傳統(tǒng)的2D轉(zhuǎn)3D的方式，這樣的技術(shù)可以使用戶在使用時(shí)能夠像人的雙眼一樣實(shí)時(shí)獲取完整的3D數(shù)據(jù)信息，時(shí)間成本呈幾何級(jí)數(shù)的下降，極大提升用戶體驗(yàn)。
銀牛3D點(diǎn)云直出與3D模型示意
錢哲弘還分享了動(dòng)漫行業(yè)的案例，“紅外相機(jī)的一個(gè)頭盔陣列基本在10萬元左右，一個(gè)動(dòng)漫工作室可能只能買一套，一二十個(gè)動(dòng)漫師輪著用。”借助銀牛的核心技術(shù)，可以做到僅用一顆功耗不超過1瓦的芯片，把3D攝像機(jī)做成一個(gè)消費(fèi)端的手持式產(chǎn)品，并且能夠把成本降到數(shù)千元級(jí)別，對(duì)C端用戶更加靈活友好，真正實(shí)現(xiàn)微型化、大眾化、低成本化數(shù)字人3D建模與表情實(shí)時(shí)驅(qū)動(dòng)設(shè)備的普及。
跟動(dòng)漫或游戲相比，超寫實(shí)虛擬人在表情、動(dòng)作和外形等細(xì)節(jié)所需的算力更多，而銀牛微電子已量產(chǎn)的自研核心芯片擁有3D視覺感知處理引擎，據(jù)其介紹，是目前全球唯一一款單芯片集成3D深度感知、AI（人工智能）、SLAM（實(shí)時(shí)定位與建模）的系統(tǒng)級(jí)芯片。得益于此，這款3D深度傳感器在人臉識(shí)別、姿態(tài)、動(dòng)作和手勢識(shí)別方面，有很強(qiáng)的準(zhǔn)確度和細(xì)節(jié)捕捉能力。更重要的是，芯片和3D攝像機(jī)都能夠?qū)崿F(xiàn)批量化生產(chǎn)。
產(chǎn)品落地之后，不僅有助于提升相關(guān)產(chǎn)業(yè)的“人效比”，也將優(yōu)化原有行業(yè)的一些應(yīng)用場景譬如中國數(shù)千萬的游戲發(fā)燒友，可以通過3D攝像機(jī)將自己游戲時(shí)的表情、語音傳導(dǎo)到游戲角色中，獲得更沉浸的游戲體驗(yàn)。需要揣摩其他玩家神情、姿態(tài)的線上德?lián)�，便是一個(gè)典型案例。如果不愛玩德?lián)�，沒關(guān)系，在狼人殺或者劇本殺里你可能也用得著。
04
從形似到神似，“AI+ 3D視覺+虛擬人”讓元宇宙更早到來
和生成式大模型需要大量高質(zhì)量的語料“喂養(yǎng)”類似，虛擬人完成從“形似”到“神似”的過渡，也需要大量的3D數(shù)據(jù)積累和訓(xùn)練，以實(shí)現(xiàn)數(shù)字人表情、動(dòng)作的智能生成，3D數(shù)據(jù)采集系統(tǒng)的作用便在于此。
在規(guī)范的前提之下，用戶的動(dòng)作、表情等數(shù)據(jù)集，將形成天娛數(shù)科獨(dú)有的3D數(shù)據(jù)庫。并通過后續(xù)深度學(xué)習(xí)、訓(xùn)練，不斷豐富虛擬人的表情和動(dòng)作，避免出現(xiàn)市場上普遍存在的數(shù)字人形象呆板單一、同質(zhì)化，個(gè)性不鮮明等問題。
元境科技創(chuàng)始人&CEO王智武表示，從互動(dòng)性看，目前虛擬人可分為三個(gè)階段：1.0是靜態(tài)階段，生活在圖片或者視頻里；2.0，初步達(dá)到可交互形態(tài)；到3.0階段，進(jìn)入更全面的AI時(shí)代。和2.0時(shí)代相比，最近半年火熱的AIGC技術(shù)，加上天娛高質(zhì)量3D數(shù)據(jù)庫，能夠助推虛擬人在智能、互動(dòng)性的道路上更進(jìn)一步，更早地進(jìn)入3.0時(shí)代。
如果說3D相機(jī)和3D攝影機(jī)這兩款產(chǎn)品，達(dá)成的是虛擬人與人之間的“形似”，那么天娛和銀牛研發(fā)的3D數(shù)據(jù)采集系統(tǒng)，完成的則是“神似”工程。“未來，兩款硬件設(shè)備都會(huì)內(nèi)嵌到元境科技現(xiàn)有的MetaSurfing -元享智能云平臺(tái)。
MetaSurfing -元享智能云平臺(tái)虛擬人服務(wù)
當(dāng)技術(shù)的最后一點(diǎn)差距彌合之后，虛擬人從制作到應(yīng)用的每一個(gè)環(huán)節(jié)都將更加便利和敏捷。元享這樣的元宇宙平臺(tái)，除了推動(dòng)虛擬人走進(jìn)千行百業(yè)，每個(gè)人都能打造自己的虛擬人分身。把行為數(shù)據(jù)投喂給虛擬人，讓ta不斷理解你的需求，甚至幫你處理一些生活上的基本事物，比如家用電器的開關(guān)、訂機(jī)票，陪自己或親朋聊天。而在天娛數(shù)科與銀牛微電子的強(qiáng)強(qiáng)聯(lián)合之下，錢哲弘表示，未來雙方在元宇宙社區(qū)的合作和開發(fā)亦有廣闊的發(fā)展空間。
正如元境科技虛擬人Veena日前在36氪直播間所說，“未來的我可以作為虛擬化身出現(xiàn)在大家的MR眼鏡里，成為大家生活和工作的一部分。在書房里幫你找書，或者是在廚房的某個(gè)角落，提醒你今天要吃得健康。幫助每一個(gè)更好地實(shí)現(xiàn)自己的目標(biāo)和愿望。”
到那時(shí)，現(xiàn)實(shí)與元宇宙，顯然已經(jīng)不再那么涇渭分明。
05
小結(jié)
元宇宙最終要實(shí)現(xiàn)的，就是不同的個(gè)體在虛擬世界的交互。
隨著便攜式的3D視覺設(shè)備普及，元宇宙平臺(tái)級(jí)產(chǎn)品生態(tài)逐漸完善，擁有一個(gè)屬于自己的虛擬人數(shù)位分身，就會(huì)像擁有一個(gè)電腦或智能手機(jī)一樣稀松平常。
而當(dāng)你成為了自己的“中之人”，第二分身除了真的能替你做些工作之外，或許也會(huì)讓你發(fā)現(xiàn)另一個(gè)自己。
