【新智元導(dǎo)讀】谷歌DeepMind CEO Hassabis全新爆料：全新Gemini模型將結(jié)合進(jìn)AlphaGo和大語(yǔ)言模型，成本預(yù)計(jì)是數(shù)千萬(wàn)美元，甚至數(shù)億。
谷歌，是真的破釜沉舟了。
傳說(shuō)中合并了AlphaGo和類GPT-4大模型的Gemini，終于要來(lái)了嗎？
一個(gè)是用強(qiáng)化學(xué)習(xí)擊敗人類圍棋冠軍、創(chuàng)造歷史的AI系統(tǒng)，一個(gè)是目前霸榜幾乎所有大模型榜單、一騎絕塵的最強(qiáng)多模態(tài)大模型，兩個(gè)AI一合體，簡(jiǎn)直要無(wú)敵了！
谷歌DeepMind CEO Hassabis近日對(duì)外媒Wired表示，Gemini還在開發(fā)中，還需要幾個(gè)月，而谷歌DeepMind已經(jīng)準(zhǔn)備砸進(jìn)數(shù)千萬(wàn)美元，甚至數(shù)億。
此前，Sam Altman曾透露，創(chuàng)建GPT-4的成本超過(guò)了1億美元。谷歌DeepMind，當(dāng)然也不能輸。
太長(zhǎng)不看版
Gemini會(huì)將AlphaGo與GPT-4等大模型的語(yǔ)言功能合并，系統(tǒng)解決問(wèn)題和規(guī)劃的能力將大大增強(qiáng)。
Gemini是一個(gè)大語(yǔ)言模型，類似于 GPT-4
預(yù)計(jì)花費(fèi)數(shù)千萬(wàn)到數(shù)億美元，與開發(fā)GPT-4的成本相當(dāng)
除了AlphaGo，還會(huì)有別的創(chuàng)新
Gemini會(huì)整合使用了強(qiáng)化學(xué)習(xí)和樹搜索的AlphaGO。
強(qiáng)化學(xué)習(xí)允許AI通過(guò)從反復(fù)嘗試和反饋中學(xué)習(xí)，解決挑戰(zhàn)性難題
樹搜索方法有助于探索和記住場(chǎng)景中可能的移動(dòng)，比如在游戲場(chǎng)景中
DeepMind在強(qiáng)化學(xué)習(xí)方面的豐富經(jīng)驗(yàn)，會(huì)為Gemini帶來(lái)嶄新功能。
其他領(lǐng)域技術(shù)（如機(jī)器人和神經(jīng)科學(xué)）也會(huì)整合到Gemini中
下一個(gè)算法，要超越ChatGPT
根據(jù)OpenAI CEO Sam Altman的說(shuō)法，GPT-5距離發(fā)布尚有時(shí)日，至少6個(gè)月內(nèi)不會(huì)開始訓(xùn)練。而Gemini的發(fā)布時(shí)間尚未確定，可能在幾個(gè)月之內(nèi)。
尚在開發(fā)中的Gemini，也是一個(gè)處理文本的大語(yǔ)言模型，性質(zhì)上和GPT-4類似。
但谷歌DeepMind CEO Demis Hassabis表示，Gemini會(huì)結(jié)合進(jìn)AlphaGo中使用的技術(shù)，這將賦予系統(tǒng)全新的規(guī)劃、解決問(wèn)題的能力。
2016年，AlphaGo擊敗圍棋世界冠軍李世石的那一幕，如今依然歷歷在目。
Hassabis表示，「可以這么說(shuō)，Gemini把AlphaGo系統(tǒng)的一些優(yōu)勢(shì)，和大語(yǔ)言模型驚人的語(yǔ)言能力結(jié)合在一起了。并且，我們還有一些其他有趣的創(chuàng)新�！�
據(jù)說(shuō)，Gemini具有以前模型中沒(méi)有的多模態(tài)功能，在集成工具和API方面非常高效。而且，Gemini將提供多種規(guī)模，旨在支持未來(lái)內(nèi)存和規(guī)劃上的創(chuàng)新。
在三月份，曾經(jīng)有這樣一個(gè)說(shuō)法：Gemini會(huì)像GPT-4一樣，具有一萬(wàn)億個(gè)參數(shù)。而且，據(jù)說(shuō)Gemini將使用數(shù)以萬(wàn)計(jì)的谷歌TPU AI芯片進(jìn)行訓(xùn)練。
在上個(gè)月的谷歌開發(fā)者I/O大會(huì)上，谷歌就曾提到，從一開始，Gemini的目標(biāo)就是多模態(tài)、高效集成工具、API。
而當(dāng)時(shí)谷歌的預(yù)告是：「雖然還在早期，但我們已經(jīng)在Gemini中，看到了在之前的模型中從未見過(guò)的多模態(tài)能力，這讓人印象太深刻了�！�
AlphaGo背后的技術(shù)，就是強(qiáng)化學(xué)習(xí)，這是DeepMind首創(chuàng)的技術(shù)。
RL代理隨著時(shí)間的推移與環(huán)境交互，通過(guò)反復(fù)試驗(yàn)來(lái)學(xué)習(xí)策略，從而最大限度地提高長(zhǎng)期累積獎(jiǎng)勵(lì)
通過(guò)強(qiáng)化學(xué)習(xí)，AI能夠通過(guò)反復(fù)嘗試和接受反饋來(lái)調(diào)整自己的表現(xiàn)，因而學(xué)會(huì)處理很棘手的問(wèn)題，比如在圍棋或電子游戲中選擇如何采取下一步行動(dòng)。
另外，AlphaGo還使用了蒙特卡洛樹搜索（MCTS）方法，來(lái)探索和記住棋盤上所有可能的動(dòng)作。
這已經(jīng)不是Hassabis第一次攪動(dòng)起科技巨頭的大規(guī)模人工智能淘金熱了。
2014年，DeepMind使用強(qiáng)化學(xué)習(xí)，讓AI學(xué)會(huì)了玩簡(jiǎn)單的視頻游戲，這一成果驚為天人，直接讓DeepMind被谷歌收購(gòu)。
谷歌的注果然押對(duì)了。
接下來(lái)幾年，DeepMind隔一段時(shí)間就產(chǎn)出一個(gè)驚艷全世界的成果。
深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)正在解決許多經(jīng)典的人工智能問(wèn)題，例如邏輯、推理和知識(shí)表示
2016年，石破天驚的AlphaGo，直接點(diǎn)燃了深度學(xué)習(xí)和第一輪AI產(chǎn)業(yè)的熱潮。
2017年，AlphaGo Zero沒(méi)有使用人類數(shù)據(jù)，就迅速超越了AlphaGo。
AlphaGo Zero
2020年，AlphaFold對(duì)于蛋白質(zhì)結(jié)構(gòu)的預(yù)測(cè)與實(shí)驗(yàn)室技術(shù)相當(dāng)，基本解決了蛋白質(zhì)的折疊問(wèn)題。
今年6月，AlphaDev創(chuàng)造全新的排序算法，或?qū)氐赘淖冇?jì)算機(jī)科學(xué)的效率和成果。
相比OpenAI更通用的路線，DeepMind多年來(lái)深耕垂直領(lǐng)域。
語(yǔ)言模型的下一個(gè)重大飛躍在哪里？Gemini或許指引了下一代語(yǔ)言模型的方向。
背水一戰(zhàn)
很明顯，Gemini是谷歌的背水一戰(zhàn)。
谷歌開創(chuàng)的許多技術(shù)，比如Transformer架構(gòu)，讓最近的AI洪流成為可能。
因?yàn)閷?duì)于技術(shù)的開發(fā)和部署太過(guò)謹(jǐn)慎，在ChatGPT和其他生成式AI構(gòu)成的競(jìng)爭(zhēng)面前，它反而顯得暫時(shí)落后。
為了對(duì)打ChatGPT，谷歌連續(xù)拋出多個(gè)動(dòng)作，比如推出Bard，并且將生成式AI集成到搜索引擎和其他產(chǎn)品中。
為了集中力量辦大事，在4月，谷歌干脆把Hassabis的DeepMind和谷歌的主要人工智能實(shí)驗(yàn)室谷歌大腦合并，合體為谷歌DeepMind。
對(duì)于合體后的全新團(tuán)隊(duì)，Haasabis顯然非常自信。他表示，全新的團(tuán)隊(duì)匯集了兩股對(duì)最近的人工智能進(jìn)步至關(guān)重要的力量。
「如果你看看我們?cè)谌斯ゎI(lǐng)域的位置，你會(huì)相信，未來(lái)80%或90%的創(chuàng)新，就會(huì)來(lái)自其中一個(gè)團(tuán)隊(duì)。在過(guò)去十年里，兩個(gè)團(tuán)隊(duì)都做出了極其出色的成果。」
新的想法
訓(xùn)練像OpenAI的GPT-4這樣的大型語(yǔ)言模型，需要將來(lái)自書籍、網(wǎng)頁(yè)和其他來(lái)源的大量精選數(shù)據(jù)集的輸入「Transformer」中。
Transformer使用訓(xùn)練數(shù)據(jù)中的模式來(lái)熟練預(yù)測(cè)后續(xù)文本中應(yīng)該出現(xiàn)的每一個(gè)字母和單詞。
這種看似簡(jiǎn)單的機(jī)制，卻在回答問(wèn)題和生成文本或代碼方面非常強(qiáng)大。
但這個(gè)看似簡(jiǎn)單的技術(shù)原理也被很多行業(yè)大佬或者人工智能專家們?cè)嵅?/p>
馬斯克：目前AI技術(shù)的本質(zhì)就是統(tǒng)計(jì)學(xué)
OpenAI在GPT系列模型上的突破，就是在Transformer的核心技術(shù)之上，很激進(jìn)地采用了RLHF來(lái)強(qiáng)化模型的能力。
而DeepMind在強(qiáng)化學(xué)習(xí)方面同樣有非常豐富的經(jīng)驗(yàn)。
這就讓人有非常充足的理由期待Gemini在未來(lái)可能會(huì)展現(xiàn)出來(lái)的創(chuàng)新能力。
更加關(guān)鍵的是，Hassabis和他的團(tuán)隊(duì)也會(huì)試圖用人工智能其他領(lǐng)域的核心技術(shù)來(lái)增強(qiáng)大型語(yǔ)言模型的能力。
DeepMind的技術(shù)積累非常廣泛。
從機(jī)器人技術(shù)到到神經(jīng)科學(xué)，他們武器庫(kù)里有各種各樣的裝備可供他們挑眩
比如像LeCun這樣的AI大佬就表示，Transformer將語(yǔ)言模型的能力過(guò)度限制在了文本的范圍之內(nèi)。
像人類和動(dòng)物樣，從世界的物理經(jīng)驗(yàn)中學(xué)習(xí)可能才是發(fā)展人工智能的最優(yōu)解。
也許在Gemini身上，人工智能將展示出其他方向的潛力。
不確定的未來(lái)
Hassabis的任務(wù)是加速谷歌的人工智能技術(shù)的發(fā)展，同時(shí)管理未知和潛在的嚴(yán)重的風(fēng)險(xiǎn)險(xiǎn)。
大語(yǔ)言模型的飛速進(jìn)步讓許多人工智能專家開始擔(dān)心這項(xiàng)技術(shù)是否會(huì)打開潘多拉的魔盒，讓人類社會(huì)付出無(wú)法接受的代價(jià)。
Hassabis表示，人工智能可能給人類社會(huì)帶來(lái)的收益不可估量。
人類必須要持續(xù)發(fā)展這項(xiàng)技術(shù)。
強(qiáng)制暫停發(fā)展AI技術(shù)完全沒(méi)有可操作性。
但是這并不意味著Hassabis和他領(lǐng)導(dǎo)的DeepMind會(huì)不計(jì)后果地推進(jìn)技術(shù)的發(fā)展。
畢竟，谷歌和DeepMind之所以把AI技術(shù)的領(lǐng)袖位置拱手讓給OpenAI。
很大一部分原因就是對(duì)待AI發(fā)展采用了「過(guò)于負(fù)責(zé)任」的態(tài)度。
網(wǎng)友：不看好
但是對(duì)于未來(lái)Gemini的發(fā)布，因?yàn)榭紤]到之前谷歌保守的態(tài)度，大部分網(wǎng)友似乎都不太看好。
你們覺得這個(gè)類似于AGI的模型會(huì)在什么時(shí)候發(fā)布呢？
我賭10塊谷歌永遠(yuǎn)不會(huì)發(fā)布這個(gè)東西。
如果有人關(guān)注過(guò)谷歌的項(xiàng)目的話，就會(huì)發(fā)現(xiàn)，他們一般都是先吹一陣牛，然后什么也不發(fā)布，一年后再把這個(gè)項(xiàng)目給砍了。
不過(guò)，對(duì)于谷歌在目前大語(yǔ)言模型中做的貢獻(xiàn)，網(wǎng)友還是很認(rèn)可的。
網(wǎng)友A：OpenAI用的大語(yǔ)言模型技術(shù)基本都是谷歌發(fā)明的
網(wǎng)友B：是的，不過(guò)特斯拉發(fā)不了財(cái)，但是愛迪生可以。
這位網(wǎng)友就很看好DeepMind將利用自己在強(qiáng)化學(xué)習(xí)方面的經(jīng)驗(yàn)?zāi)茉诖笳Z(yǔ)言模型上產(chǎn)生的突破。
不過(guò)他依然認(rèn)為可能谷歌只會(huì)用改進(jìn)自己現(xiàn)有產(chǎn)品的思路來(lái)推進(jìn)這個(gè)技術(shù)，而不是推出全新的產(chǎn)品。
參考資料：
https://the-decoder.com/deepmind-founder-shares-details-on-gemini-googles-next-gen-response-to-gpt-4/
