財(cái)聯(lián)社8月18日訊（編輯 史正丞）作為本輪AI熱潮的起點(diǎn)，谷歌在2017年發(fā)表了題為《Attention is all you need》的經(jīng)典論文，對(duì)Transformer模型做出了具有歷史意義的重大改進(jìn)。而根據(jù)最新的消息，這篇論文的合著作者Welshman Llion Jones已經(jīng)離開谷歌，標(biāo)志著當(dāng)年寫這篇論文的團(tuán)隊(duì)已經(jīng)全部離開美國(guó)科技巨頭。
（Llion Jones在論文署名中排第5，來(lái)源：arvix）
谷歌的論文也為五年后席卷全球的科技熱潮奠定了基礎(chǔ)，包括ChatGPT、文心一言、Bard、訊飛星火、Stability AI、Midjourney、Dall-E等幾乎所有市面上的知名產(chǎn)品背后都是Transformer架構(gòu)。
選在這個(gè)時(shí)候在AI領(lǐng)域自立門戶，與揮金如土的各大巨頭展開競(jìng)爭(zhēng)，是因?yàn)镴ones對(duì)AI領(lǐng)域產(chǎn)生了一些不同的想法。
Jones與前谷歌AI日本地區(qū)的負(fù)責(zé)人、曾領(lǐng)導(dǎo)Stability AI開發(fā)的David Ha一拍即合，周四宣布在日本東京創(chuàng)辦了一個(gè)名為Sakana AI的新公司，追求將“大自然系統(tǒng)的集體智慧”引入AI領(lǐng)域。Sakana在日語(yǔ)中是“魚”的意思，代表著“一群魚聚在一起，根據(jù)簡(jiǎn)單的規(guī)則行程連貫實(shí)體”的愿景。
（兩人官宣創(chuàng)業(yè)，來(lái)源：X）
在Transformer架構(gòu)的創(chuàng)新問(wèn)世后，業(yè)界的發(fā)展重心一度聚焦在將各種“GPT”越做越大，而Sakana AI將聚焦在創(chuàng)造一個(gè)新的架構(gòu)。
他們認(rèn)為，當(dāng)前人工智能模型的局限性在于它們被設(shè)計(jì)為脆弱的、難以改變的結(jié)構(gòu)，就像橋梁或建筑物那樣。相比之下，在集體智慧的作用下，自然系統(tǒng)對(duì)周遭發(fā)生的變化非常敏感。自然系統(tǒng)會(huì)適應(yīng)并成為周遭環(huán)境的一部分。Sakana AI希望使用這些進(jìn)化計(jì)算的原理構(gòu)建人工智能，來(lái)解決AI系統(tǒng)成本和安全性等問(wèn)題。
David Ha對(duì)此概括稱，相較于建造一個(gè)吸收所有數(shù)據(jù)的龐大模型，Sakana AI的做法可能是使用數(shù)量巨大的小模型，每一個(gè)模型所包含的數(shù)據(jù)集都不大但有獨(dú)特的專長(zhǎng)，然后讓這些模型進(jìn)行協(xié)作來(lái)解決問(wèn)題。
至于為什么要跑到東京去創(chuàng)業(yè)，兩位創(chuàng)始人表示，除了在東京呆過(guò)很多年外，他們也認(rèn)為訓(xùn)練在非西方社會(huì)和文化中也能表現(xiàn)良好的模型，能夠成為下一次技術(shù)突破的催化劑。
（財(cái)聯(lián)社 史正丞）
