谷歌宣布推出其規(guī)模最大、功能最強大的新大型語言模型Gemini，其最強大的TPU“Cloud TPU v5p”以及來自谷歌云的人工智能超級計算機。
“谷歌運行了32個完善的基準(zhǔn)測試來比較Gemini和GPT-4，從廣泛的整體測試（如多任務(wù)語言理解基準(zhǔn)測試）到比較兩個模型生成Python代碼的能力。”谷歌DeepMind首席執(zhí)行官德米斯哈薩比斯表示，“我認(rèn)為我們在32項基準(zhǔn)中的30項中大幅領(lǐng)先。”
當(dāng)?shù)貢r間12月6日，谷歌公司宣布推出其規(guī)模最大、功能最強大的新大型語言模型Gemini，其最強大的TPU（張量處理單元）系統(tǒng)“Cloud TPU v5p”以及來自谷歌云的人工智能超級計算機。v5p是今年早些時候全面推出的Cloud TPU v5e的更新版本，谷歌承諾其速度明顯快于v4 TPU。
一年前，在人工智能開發(fā)機構(gòu)OpenAI發(fā)布聊天機器人ChatGPT后，創(chuàng)造了當(dāng)前人工智能熱潮背后大部分基礎(chǔ)技術(shù)的谷歌措手不及，一度發(fā)布了內(nèi)部“紅色警報”（red code）。一年零一周后，谷歌似乎準(zhǔn)備好了反擊。
谷歌DeepMind首席執(zhí)行官、Gemini團隊代表德米斯哈薩比斯（Demis Hassabis）在發(fā)布會上正面談及GPT-4與Gemini的對比，“我們對系統(tǒng)進行了非常徹底的分析，并進行了基準(zhǔn)測試。谷歌運行了32個完善的基準(zhǔn)測試來比較這兩個模型，從廣泛的整體測試（如多任務(wù)語言理解基準(zhǔn)測試）到比較兩個模型生成Python代碼的能力。”哈薩比斯略帶微笑地表示，“我認(rèn)為我們在32項基準(zhǔn)中的30項中大幅領(lǐng)先。”
從發(fā)布日起，Gemini可開始應(yīng)用于Bard和Pixel 8 Pro智能手機，并將很快與谷歌服務(wù)中的其他產(chǎn)品集成，包括Chrome、搜索和廣告等。
“Gemini Pro性能優(yōu)于GPT-3.5”
大型語言模型Gemini包括一套三種不同規(guī)模的模型：Gemini Ultra是最大、功能最強大的類別，被定位為GPT-4的競爭對手；Gemini Pro是一款中端型號，能夠擊敗GPT-3.5，可擴展多種任務(wù)；Gemini Nano用于特定任務(wù)和移動設(shè)備。
Gemini包括一套三種不同規(guī)模的模型。
目前，谷歌計劃通過谷歌云將Gemini授權(quán)給客戶，供他們在自己的應(yīng)用程序中使用。12月13日開始，開發(fā)者和企業(yè)客戶可以通過谷歌AI Studio或谷歌Cloud Vertex AI中的Gemini API（應(yīng)用程序編程接口）訪問Gemini Pro，安卓開發(fā)人員可以使用Gemini Nano完成構(gòu)建。
從發(fā)布會當(dāng)天開始，谷歌聊天機器人Bard將使用Gemini Pro來實現(xiàn)高級推理、規(guī)劃、理解和其他功能。明年初，谷歌將推出Bard Advanced，其將使用Gemini Ultra，這代表了Bard發(fā)布以來的最大更新。
從發(fā)布會當(dāng)天開始，Pixel 8 Pro手機的兩項功能將由Gemini Nano提供支持：錄音機應(yīng)用中的自動摘要功能以及Gboard鍵盤的智能回復(fù)部分。由于模型在手機中運行，因此兩者都可以離線工作，因此應(yīng)該能擁有快速且原生的體驗。谷歌表示，Nano的目標(biāo)是創(chuàng)建一個盡可能強大的Gemini版本，但同時不會占用手機的存儲空間或使處理器過熱。
據(jù)介紹，Gemini Ultra是第一個在MMLU（大規(guī)模多任務(wù)語言理解）方面超越人類專家的模型，該模型綜合使用數(shù)學(xué)、物理、歷史、法律、醫(yī)學(xué)和倫理學(xué)等57個科目來測試世界知識和解決問題的能力，谷歌在一篇博客文章中表示，它可以理解復(fù)雜主題中的細(xì)微差別和推理。
據(jù)哈薩比斯介紹，在對比Gemini和GPT-4的基準(zhǔn)測試中，Gemini最明顯的優(yōu)勢來自于它理解視頻和音頻并與之交互的能力。這很大程度上是設(shè)計使然：多模態(tài)在最開始就是Gemini計劃的一部分。谷歌沒有像OpenAI構(gòu)建DALLE（文生圖模型）和Whisper（語音識別模型）那樣單獨訓(xùn)練圖像和語音模型，而是從一開始就建立為一個多感官模型。
而據(jù)CNBC報道，谷歌高管們在新聞發(fā)布會上表示Gemini Pro的表現(xiàn)優(yōu)于GPT-3.5，但回避了與GPT-4相比如何的問題。對于谷歌是否計劃對Bard Advanced的訪問收費，Bard總經(jīng)理蕭茜茜（Sissie Hsiao）表示，谷歌專注于創(chuàng)造良好的體驗，目前還沒有任何相關(guān)盈利的細(xì)節(jié)。
“我們一直對非常通用的系統(tǒng)感興趣。”哈薩比斯說，他對如何混合所有這些模態(tài)特別感興趣，“從任意數(shù)量的輸入和感知中收集盡可能多的數(shù)據(jù)，然后給出盡可能多的響應(yīng)。”
Gemini最基本的模型是文本輸入和文本輸出，但更強大的模型（如Gemini Ultra）可以處理圖像、視頻和音頻。哈薩比斯說，它甚至?xí)兊酶油ㄓ茫邢駝幼骱陀|摸之類更像機器人類型的東西。他認(rèn)為，隨著時間的推移，Gemini將獲得更多的感知，變得更有意識，并在這個過程中變得更加準(zhǔn)確和穩(wěn)定。“這些模型只是更好地了解周圍的世界。當(dāng)然，這些模型仍然存在幻覺，并且仍然存在偏見和其他問題。”但哈薩比斯表示，它們知道的越多，就會做得越好。
最新的演示里，Gemini能聽能說能看，還能教人類說中文。(02:35)
谷歌似乎特別將編程視為Gemini的殺手級應(yīng)用程序，它使用了一種名為AlphaCode 2的新代碼生成系統(tǒng)，據(jù)稱該系統(tǒng)的性能優(yōu)于85%的編程競賽參與者，而原始AlphaCode的這一比例為50%。
谷歌首席執(zhí)行官桑達爾皮查伊（Sundar Pichai）表示，用戶會注意到模型涉及的幾乎所有方面都有所改進。
“不愿為了跟上步伐而走得太快”
值得注意的是，今年5月，包括哈薩比斯在內(nèi)的500多名著名學(xué)者和行業(yè)領(lǐng)袖簽署的一份聲明稱，“與流行病和核戰(zhàn)爭等其他社會規(guī)模風(fēng)險一樣，減輕人工智能帶來的滅絕風(fēng)險應(yīng)該成為全球優(yōu)先事項。”
在這次發(fā)布會中，哈薩比斯和皮查伊對于谷歌似乎步調(diào)緩慢的說法回應(yīng)道，他們不愿意為了跟上步伐而走得太快，“尤其是當(dāng)我們越來越接近人工智能的終極夢想‘通用人工智能’時”。“當(dāng)我們接近通用人工智能時，事情將會有所不同。”哈薩比斯說，“這是某種具有主動性的技術(shù)，所以我認(rèn)為我們必須謹(jǐn)慎對待，謹(jǐn)慎但樂觀。”
谷歌表示，通過內(nèi)部和外部測試以及警示團隊（red-teaming），它一直在努力確保Gemini的安全和責(zé)任。皮查伊指出，確保數(shù)據(jù)的安全性和可靠性對于企業(yè)優(yōu)先的產(chǎn)品尤為重要，這也是大多數(shù)生成式人工智能利潤的來源。與此同時，哈薩比斯也承認(rèn)，推出最先進的人工智能系統(tǒng)的風(fēng)險之一就是，它會出現(xiàn)沒人能預(yù)測到的問題和攻擊向量（attack vector）。“這就是為什么你必須釋放一些東西，去觀察和學(xué)習(xí)。”他說。
谷歌發(fā)布Gemini Ultra的速度較慢，哈薩比斯把它比作一個可控的測試版，為這個谷歌最強大、最不受約束的模型提供了一個“更安全的試驗區(qū)”。“基本上，如果Gemini有一個破壞婚姻的另類人格，谷歌會在你之前找到它。”這番話影射了此前微軟必應(yīng)聊天機器人向《紐約時報》專欄作家凱文盧斯（Kevin Roose）求婚，并試圖拆散他的婚姻。
上周，The Information報道稱，因為人工智能“無法可靠地處理一些非英語查詢”，所以谷歌原定于本周舉行的Gemini現(xiàn)場演示被無限期推遲。在回答有關(guān)外語問題的問題時，谷歌DeepMind產(chǎn)品副總裁艾力柯林斯（Eli Collins）表示：“事實上，Gemini在多語言能力方面表現(xiàn)相當(dāng)出色。”
谷歌最強TPU與AI超級計算機
與新模型一起亮相的，還有新版本的TPU芯片TPU v5p，旨在減少訓(xùn)練大語言模型相關(guān)的時間投入。TPU是谷歌為神經(jīng)網(wǎng)絡(luò)設(shè)計的專用芯片，經(jīng)過優(yōu)化可加快機器學(xué)習(xí)模型的訓(xùn)練和推斷速度，谷歌于2016年起開始推出第一代TPU。
谷歌TPU芯片參數(shù)比較。
據(jù)谷歌介紹，與TPU v4相比，TPU v5p的浮點運算性能提升了兩倍，在高帶寬內(nèi)存方面提高了3倍。使用谷歌的600 GB/s芯片間互連，可以將8960個v5p加速器耦合在一個Pod（通常指一個包含多個芯片的集群或模塊）中，從而更快或更高精度地訓(xùn)練模型。作為參考，該值比TPU v5e大35倍，是TPU v4的兩倍多。
谷歌稱，TPU v5p是其迄今為止最強大的，能夠提供459 teraFLOPS（每秒可執(zhí)行459萬億次浮點運算）的bfloat16（16位浮點數(shù)格式）性能或918 teraOPS（每秒可執(zhí)行918萬億次整數(shù)運算）的Int8（執(zhí)行8位整數(shù)）性能，支持95GB的高帶寬內(nèi)存，能夠以2.76 TB/s的速度傳輸數(shù)據(jù)。
谷歌表示，所有這些意味著TPU v5p可以比TPU v4更快地訓(xùn)練大型語言模型，如訓(xùn)練GPT-3（1750億參數(shù)）這樣的大語言模型速度比TPU v4快2.8倍。
不過，這種更高的性能和可擴展性也是有代價的。每個TPU v5p加速器的運行費用為每小時4.2美元，而TPU v4加速器為每小時3.22美元，TPU v5e加速器每小時1.2美元。
谷歌TPU芯片訓(xùn)練大模型的參數(shù)比較。
“在我們的早期使用階段，谷歌DeepMind和谷歌Research觀察到，與我們的TPU v4芯片相比，使用TPU v5p芯片的大語言模型（LLM）訓(xùn)練工作負(fù)載的速度提高了兩倍。”谷歌DeepMind首席科學(xué)家杰夫迪恩（Jeff Dean）寫道，“對機器學(xué)習(xí)框架（JAX、PyTorch、TensorFlow）和編排工具的強大支持使我們能夠在v5p上更高效地擴展。通過第二代SparseCores，我們還看到嵌入密集型工作負(fù)載的性能有了顯著提高。TPU對于我們在Gemini等尖端模型上進行最大規(guī)模的研究和工程工作至關(guān)重要。”
除了新硬件之外，谷歌還引入了“人工智能超級計算機”的概念。谷歌云將其描述為一種超級計算架構(gòu)，包括一個集成系統(tǒng)，具有開放軟件、性能優(yōu)化硬件、機器學(xué)習(xí)框架和靈活的消費模型。
谷歌計算和機器學(xué)習(xí)基礎(chǔ)設(shè)施部門副總裁馬克洛邁爾（Mark Lohmeyer）在博客文章中解釋道，“傳統(tǒng)方法通常通過零碎的組件級增強來解決要求苛刻的人工智能工作負(fù)載，這可能會導(dǎo)致效率低下和瓶頸。”“相比之下，人工智能超級計算機采用系統(tǒng)級協(xié)同設(shè)計來提高人工智能訓(xùn)練、調(diào)整和服務(wù)的效率和生產(chǎn)力。”這可以理解為，與單獨看待每個部分相比，這種合并將提高生產(chǎn)力和效率。換句話說，超級計算機是一個系統(tǒng)，其中任何可能導(dǎo)致性能低下的變量（硬件或軟件）都受到控制和優(yōu)化。
