財(cái)聯(lián)社12月7日訊，近日美國(guó)科技巨頭谷歌宣布推出其認(rèn)為規(guī)模最大、功能最強(qiáng)大的AI智能模型Gemini。
此次谷歌發(fā)布的Gemini模型可實(shí)現(xiàn)多模態(tài)，性能大幅提升，Gemini是基于Transformer decoder構(gòu)建的多模態(tài)模型，這種技術(shù)能夠處理視頻、音頻和文本等不同內(nèi)容形式的信息。最新的Gemini模型對(duì)比之前的技術(shù)，能夠進(jìn)行更復(fù)雜的推理，理解更加細(xì)微的信息。它通過(guò)閱讀、過(guò)濾和理解信息，可以從數(shù)十萬(wàn)份文件中提取要點(diǎn)，將有助于在從科學(xué)到金融的許多領(lǐng)域?qū)崿F(xiàn)新的突破。
Gemini模型根據(jù)體量大小可分為Gemini Ultra、Gemini Pro、以及Gemini Nano三個(gè)版本，都支持上下文32K理解，其中：
1）Ultra版本是性能最強(qiáng)的版本，在對(duì)應(yīng)的TPU基礎(chǔ)設(shè)施中能夠展現(xiàn)出最高效率，在多項(xiàng)測(cè)試中Ultra版本性能超過(guò)GPT4V；
2）Pro版本是性價(jià)比優(yōu)化的版本，在推理、多模態(tài)等方面也有較強(qiáng)能力，Pro版本具有良好延展性，可以在幾周內(nèi)完成預(yù)訓(xùn)練，在多項(xiàng)測(cè)試中僅次于GPT4V，強(qiáng)于PaLM2、Claude2、LLaMA2、GPT3.5等主流大模型；
3）Nano：是通過(guò)對(duì)其他模型蒸餾得來(lái)的4位模型，有1.8B和3.25B兩個(gè)版本，分別針對(duì)低內(nèi)存和高內(nèi)存設(shè)備，支持在本地部署
Gemini模型作為谷歌以及全球范圍內(nèi)最先發(fā)布的多模態(tài)模型，支持在云端以及邊緣測(cè)運(yùn)行。相關(guān)測(cè)試數(shù)據(jù)表面，Gemini Ultra 在 MMLU（大規(guī)模多任務(wù)語(yǔ)言理解）方面優(yōu)于人類專家的模型，橫向?qū)Ρ葋?lái)看多個(gè)任務(wù)性能超過(guò)GPT-4。
民生證券表示：通過(guò)在超過(guò)50個(gè)基準(zhǔn)測(cè)試中對(duì)Gemini模型系列進(jìn)行評(píng)估，隨著模型規(guī)模的增加，Gemini模型家族在推理、數(shù)學(xué)/科學(xué)、摘要和長(zhǎng)文本方面持續(xù)提高了質(zhì)量。在所有六種能力中，Gemini Ultra是最優(yōu)秀的模型。而Gemini Pro作為Gemini模型家族中第二大的模型，在性能上也非常有競(jìng)爭(zhēng)力，并且在提供服務(wù)時(shí)更加高效。
民生證券指出：Gemini訓(xùn)練過(guò)程也可對(duì)基礎(chǔ)設(shè)施、算法、數(shù)據(jù)集進(jìn)行創(chuàng)新；
基礎(chǔ)設(shè)施方面：Gemini由谷歌TPUV5e和TPUV4訓(xùn)練，并在訓(xùn)練過(guò)程中展現(xiàn)出工程化創(chuàng)新，如將4096個(gè)TPUV4每個(gè)芯片連接到一個(gè)專用的光學(xué)交換機(jī)，可以在大約10秒內(nèi)動(dòng)態(tài)重新配置4x4x4芯片立方體為任意的3D環(huán)形拓?fù)浣Y(jié)構(gòu)的超級(jí)節(jié)點(diǎn)，對(duì)Gemini Ultra還有熱維護(hù)等功能的針對(duì)性部署。針對(duì)Ultra版本需要的高額片間互聯(lián)速率，谷歌運(yùn)用了OCS光交換等多個(gè)專利技術(shù)，文中暫未給出最終速率。
算法方面：使用單控制算法、XLA編譯器等技術(shù)優(yōu)化訓(xùn)練過(guò)程，還通過(guò)預(yù)防SDC等問(wèn)題實(shí)現(xiàn)穩(wěn)定訓(xùn)練。
數(shù)據(jù)集方面：通過(guò)分詞技術(shù)提高Gemini訓(xùn)練和推理速度，還通過(guò)一系列過(guò)濾方法保證用于訓(xùn)練的數(shù)據(jù)的高質(zhì)量
此次谷歌最新版本的計(jì)算芯片TPU v5p同步發(fā)布，TPU v5p是之前TPU v4版本的改進(jìn)，與TPU v4相比，TPU v5p的浮點(diǎn)運(yùn)算性能提升了兩倍，它訓(xùn)練大語(yǔ)言模型的速度比TPU v4快2.8倍。中信證券認(rèn)為，多模態(tài)Gemini模型的正式發(fā)布，一方面可以拓寬應(yīng)用場(chǎng)景的拓展，另一方面能夠帶來(lái)算力需求的持續(xù)升級(jí)。民生證券持續(xù)看好后續(xù)AI產(chǎn)業(yè)的前景，認(rèn)為后續(xù)GPT-5等模型的發(fā)布亦將帶來(lái)更多的催化。
中信證券表示：在當(dāng)前的搜索場(chǎng)景中，Gemini能夠降低大約40%的延遲。對(duì)整個(gè)產(chǎn)業(yè)來(lái)講，谷歌產(chǎn)品化、商業(yè)化的推進(jìn)亦將帶來(lái)行業(yè)整體的變化，同時(shí)伴隨GPT-5等模型的推出，預(yù)計(jì)將看到：1）多模態(tài)模型帶來(lái)的算力需求增長(zhǎng)以及 ；2）越來(lái)越多的AI場(chǎng)景與產(chǎn)品的出現(xiàn)。
Gemini的發(fā)布將進(jìn)一步帶來(lái)對(duì)多模態(tài)模型的更多期待，對(duì)產(chǎn)業(yè)而言，多模態(tài)料將帶動(dòng)算力需求的提升；而在中長(zhǎng)期來(lái)看，預(yù)計(jì)多模態(tài)模型的升級(jí)將豐富相關(guān)產(chǎn)品的使用場(chǎng)景，疊加硬件升級(jí)、算法優(yōu)化帶來(lái)的成本優(yōu)化，2C產(chǎn)品的進(jìn)展值得期待。中信證券表示：持續(xù)看好本輪生成式AI浪潮對(duì)科技產(chǎn)業(yè)的長(zhǎng)周期影響和改變，繼續(xù)關(guān)注算力、算法、數(shù)據(jù)、應(yīng)用等環(huán)節(jié)的領(lǐng)先廠商。
（財(cái)聯(lián)社）
