文 | 烏鴉智能說
上世紀(jì)80年代，如今的Meta AI首席科學(xué)家楊立昆還在讀大學(xué)。
那時候，深度學(xué)習(xí)是一個“已被證偽”的技術(shù)路線，只有一小撮人在死磕，這其中就包括了一批日本科學(xué)家。
楊立昆發(fā)現(xiàn)，當(dāng)時大部分的深度學(xué)習(xí)論文，都是日本研究人員用英文寫的，這些論文給了當(dāng)時楊立昆很大的啟發(fā)。
有趣的是，當(dāng)2024年有人都在發(fā)力大模型，日本卻在這場浪潮中幾乎銷聲匿跡。
直到前幾天，一家要做日語專用生成式AI的本土獨角獸才沖了出來。據(jù)《朝日新聞》上周六報道，日本生成式AI初創(chuàng)公司SakanaAI即將獲得一筆新的重大投資，本月底之前籌集約200億日元資金（約1.27億美元），這將使該公司估值達(dá)到1800億日元（約11.42億美元）。
這是日本獨角獸中增長最快的，至此它成立還不到一年。
那么，日本這家人工智能公司是什么來頭？日語專用生成式AI的誕生對大模型的發(fā)展有什么啟示？
“黑魔法”模型合并，日語理解融合語言/數(shù)學(xué)/視覺
“ChatGPT之父”阿爾特曼（Sam Altman）在5月末預(yù)測，中國會誕生有自身特色的大模型。這讓我們思考更多的民族擁有文化專屬大模型的必要性。
Sakana AI注意到要讓AI生成物的文化屬性與藝術(shù)質(zhì)感貼近日本文化和用戶價值觀。“sakana”本身是日語音，寫作さかな，讀作薩嘎那，意思為魚。而Sakana AI的logo是魚形的，官網(wǎng)網(wǎng)站里隨處可見各種生成式AI繪制的魚。
3月，Sakana AI在Hugging Face和GitHub上開源了模仿生物進(jìn)化機制、結(jié)合多個AI來生成高級AI的技術(shù)，包括視覺語言模型EvoVLM-JP。4月22日，Sakana AI宣布推出面向教育與日語兼容的高速圖像生成模型，用日語解決數(shù)學(xué)問題的EvoLLM-JP，生成并理解日語圖像和文本的模型EvoSDXL-JP。至此，該公司已經(jīng)推出3個日語專用的生成式AI。
▲EvoSDXL-JP生成的圖像示例。提示詞：可愛的編織象、拉面和浮世繪、葛飾北齋、折紙便當(dāng)、下町火箭、浮世繪等。（圖源：SakanaAI官網(wǎng)）
SakanaAI在社交平臺X的賬號@hardmaru，我還發(fā)現(xiàn)模型不局限于日本風(fēng)格，包括可以生成多種電影風(fēng)格，效果也十分不錯。比如輸入“馬斯克”和“扎克伯格”等相關(guān)提示詞，生成圖片立馬幻視成《搏擊俱樂博》的杰克和泰勒在對壘；學(xué)友的經(jīng)典表情包被擴展成“和貓咪共進(jìn)晚餐”的場景，害我笑了一下。
▲在SDXL版本使用“電影效果”模式生成圖片，馬斯克和扎克伯格
▲SDXL對于香港電視場景擴展產(chǎn)生了一些有趣的結(jié)果
具體來看， Sakana AI三個模型精通日語，他們在理解復(fù)雜的問題，還可以用日本關(guān)西方言開玩笑。視覺語言模型EvoVLM-JP了解日本文化的細(xì)微差別，例如知道在日本通行燈實際上是藍(lán)色；而EvoSDXL-JP模型注重速度和精度，并能生成符合日本美學(xué)的作品。
Sakana AI提出一種進(jìn)化算法混合和匹配人工智能模型的方法，對生成文本和圖像的AI基本模型進(jìn)行研究，他們將現(xiàn)有模型相互交叉組合。（進(jìn)化算法借鑒了自然進(jìn)化的概念，使人工智能能夠隨著時間的推移而進(jìn)化、適應(yīng)和改進(jìn)。）
有意思的是，Sakana AI將模型合并比作為一種“黑魔法”，并在技術(shù)博客里放上了中國AI初創(chuàng)公司零一萬物“套殼Llama”爭議的“黑圖”。
從Sakana AI的產(chǎn)品歷程來看，今年早些，他們開始利用進(jìn)化算法來開發(fā)更好的方法來訓(xùn)練LLM等基礎(chǔ)模型。最近，他們使用LLM作為更好的進(jìn)化算法，讓“LLM發(fā)明更好的辦法來培訓(xùn)LLM”。
Sakana AI探索了模型合并的兩條主要途徑，一是修改模型的數(shù)據(jù)流可以將其視為基于個性的匹配；二是則側(cè)重于混合其他模型的參數(shù)，例如將兩個模型的最佳特征結(jié)合起來，創(chuàng)造出一個更加出色的模型。
進(jìn)化算法與文化差異的融合是Sakana AI重點關(guān)注的方面，他們致力于用日本本土文化敘事提供了AI可能的影響和錯誤的基本背景解釋，在文化細(xì)微差別和社會動態(tài)的情況下進(jìn)行AI決策的研究，改善此前缺乏AI可解釋性的狀況。
日系生成式AI獨苗，外資話語權(quán)高
在計算資源似乎非常豐富的時代，人們對擴大機器學(xué)習(xí)規(guī)模并在更大的數(shù)據(jù)集上訓(xùn)練越來越大的模型感到非常興奮。
在大模型領(lǐng)域的激烈角逐中，日本AI模型的身影缺席，無論是基礎(chǔ)大模型還是應(yīng)用層模型。在Sakana AI之前，Open Calm、Rinna等“日系”前沿模型在評測中的表現(xiàn)要遠(yuǎn)遜于GPT-3.5。
難道人工智能的未來是就是由一個耗費大量能源進(jìn)行訓(xùn)練、運行和維護(hù)，并且龐大、單一、無所不知的系統(tǒng)組成嗎？日本東京大學(xué)哲學(xué)博士、谷歌知名研究者David Ha并不認(rèn)為，他在博客中寫到“智慧生命的出現(xiàn)并非源于豐富的資源，而是源于資源的匱乏……人工智能的發(fā)展將遵循集體發(fā)展路徑”。
在上述理念的指引下，David Ha和另一位谷歌研究者Llion Jones，以及日本二手交易平臺Mercari執(zhí)行董事的伊藤，三人在去年7月共同在日本東京港區(qū)創(chuàng)立Sakana AI。
▲Llion Jones（左）和David Ha（右）
生成AI是風(fēng)險投資公司等的資金集中的方向，這支技術(shù)背景強大、價值觀特別的日本初創(chuàng)AI很快吸引了眾多資本的目光。
1月，Sakana AI宣布從Khosla Ventures等公司、NTT集團(tuán)以及索尼集團(tuán)共計籌集約45億日元。2月，Sakana AI被日本政府列入七家獲得贈款的公司和實驗室之一，以獲得使用配備最新圖形處理單元的超級計算集群的權(quán)限。
就在上周，SakanaAI被推動到?jīng)_刺獨角獸的位置。該公司在本月底之前將籌集約200億日元資金（約1.27億美元，9.23億元人民幣），由美國知名風(fēng)投New Enterprise Associates(NEA)和現(xiàn)有投資者Lux Capital及Khosla Ventures共同主導(dǎo)，這將使該公司估值達(dá)到1800億日元（約11.42億美元，83億元人民幣）。
雖然融資形勢是鮮花著錦、烈火烹油，但看看身下是AI產(chǎn)業(yè)羸弱的日本，Sakana AI有它不得不面臨的管理結(jié)構(gòu)和人才問題。
首先是日系資本話語權(quán)的問題。從投資股東看，上一輪和這一輪領(lǐng)投的機構(gòu)都是美國風(fēng)投，盡管這些美國風(fēng)投持股比例尚不清楚，但可以確定的是，美國風(fēng)投的話語權(quán)應(yīng)該不低。
另外，Sakana AI成立在港區(qū)，這里以聚集諸多外國大使館、國際氣氛濃厚著稱。
聯(lián)合創(chuàng)始人Ha表示，他們在灣區(qū)創(chuàng)立公司是戰(zhàn)略錯誤，因為這很難有差異化。不過，美資在日本開設(shè)辦事處并投資日本初創(chuàng)，這也許是最好的局面，部分原因是美資的信托責(zé)任致所有非日本基金支持者。
另外是本土人才有限的問題�，F(xiàn)在日本的AI研究非常依賴“老外”。
RIKEN（理化學(xué)研究所）是日本唯一的國家級科研機構(gòu)，頂級頭腦聚集地。湯川秀樹等日本諾獎得主，都曾在這兒搞過研究。RIKEN革新智慧綜合研究中心負(fù)責(zé)人杉山將，曾做過一筆統(tǒng)計：
那些被AI頂會收錄的RIKEN論文，近一半的作者都隸屬于外國大學(xué)，其中約一半的人來自中國。
最新消息顯示，Sakana AI已收到近1000份工作申請，但只有1/3 來自日本，2/3 來自海外。
結(jié)語：“日本”會誕生有自身特色的大模型
AIGC的主導(dǎo)征地根植于歐美視角，在非歐美文化的情景中的適用性有限，Sakana AI這只日本AI獨角獸的誕生標(biāo)志著人工智能大模型向具備全球能力且適應(yīng)當(dāng)?shù)匚幕姆较蜻~出一步。
日本的AI，晚開的花，日本是世界第三大經(jīng)濟(jì)體，有體量、有錢、有AI發(fā)展空間。Khosla Ventures合伙人Jon Chu表示，如果Sakana AI能成為日本的OpenAI，那么它的價值雖然不如美國那個，但它仍然非常有價值。
或許可以仿寫一下阿爾特曼的話，“日本”會誕生有自身特色的大模型。
參考鏈接：
[1] https://twitter.com/deedydas/status/1801690724116926941[2] https://hub.baai.ac.cn/view/37482[3] https://otoro.net/ml/[4] https://huggingface.co/spaces/SakanaAI/EvoSDXL-JP
