繼旗下xAI公司宣布正式開源大模型Grok-1后，特斯拉CEO馬斯克再次在大模型市場(chǎng)扔下一顆重磅炸彈。
當(dāng)?shù)貢r(shí)間8月11日晚，馬斯克在X平臺(tái)上透露人工智能模型Grok-2測(cè)試版將在不久后發(fā)布。事實(shí)上，馬斯克在7月份就在X平臺(tái)上確認(rèn)，Grok-2將于8月發(fā)布，在回應(yīng)用戶關(guān)于訓(xùn)練數(shù)據(jù)的提問(wèn)時(shí)，他表示該模型將在這方面做出“巨大改進(jìn)”。
圖源：X
今年三月，馬斯克曾表示Grok-2將在“所有指標(biāo)”上超越當(dāng)前一代的AI 模型。
作為一個(gè)由xAI從頭開始訓(xùn)練的混合專家（MoE）模型，Grok自2023年11月推出第一版以來(lái)，于今年3、4月陸續(xù)推出了Grok-1.5大語(yǔ)言模型和首個(gè)多模態(tài)模型Grok-1.5 Vision，整體迭代速度已足夠驚人。
但要超越當(dāng)前所有AI大模型，Grok-2要面對(duì)的問(wèn)題或許遠(yuǎn)沒(méi)想象中簡(jiǎn)單。
所有指標(biāo)超越當(dāng)前AI大模型，真的假的？
2023年11月，xAI推出其第一代大語(yǔ)言模型Grok時(shí)表示，Grok的設(shè)計(jì)靈感來(lái)源于《銀河系漫游指南》，最初主要為X上的Grok聊天機(jī)器人提供支持，用于包括問(wèn)答、信息檢索、創(chuàng)意寫作和編碼輔助在內(nèi)的自然語(yǔ)言處理任務(wù)。
最初版本Grok-0僅擁有330億參數(shù)，經(jīng)過(guò)數(shù)次改良后的Grok-1擁有3140億參數(shù)，是當(dāng)時(shí)全球參數(shù)量最大的開源大語(yǔ)言模型。
即便這些參數(shù)在給定token上的激活權(quán)重僅為25%，Grok-1的激活參數(shù)數(shù)量也有860億，這比LIama-2的70B參數(shù)還多，這意味著其在處理語(yǔ)言任務(wù)時(shí)具備廣闊的潛在能力。
Grok-1采用了混合專家系統(tǒng)的設(shè)計(jì)，每個(gè)token從8個(gè)專家中選擇2個(gè)進(jìn)行處理。在該架構(gòu)下，根據(jù)具體詢問(wèn)的內(nèi)容，模型只會(huì)激活不同的專家子模塊進(jìn)行推理，在吞吐量一定的情況下，可以更快地完成推理、給出回答。這讓Grok-1擁有了更快的生成速度和更低的推理成本，簡(jiǎn)而言之就是更好的使用體驗(yàn)和性價(jià)比。
根據(jù)xAI公布的數(shù)據(jù)，在GSM8K、HumanEval和MMLU等一系列基準(zhǔn)測(cè)試中，Grok-1的表現(xiàn)超過(guò)了Llama-2-70B和GPT-3.5，不過(guò)與第一梯隊(duì)的GPT-4差距還很明顯。
圖源：xAI
來(lái)到Grok-1.5，情況已大為改觀。Grok-1.5不僅具有改進(jìn)的推理能力和128k的上下文長(zhǎng)度，其在編碼和數(shù)學(xué)相關(guān)任務(wù)中的表現(xiàn)也得到顯著提升。
在官方測(cè)試中，Grok-1.5在MATH基準(zhǔn)上取得了50.6%的成績(jī)，在GSM8K基準(zhǔn)上取得了90%的成績(jī)，這兩個(gè)數(shù)學(xué)基準(zhǔn)涵蓋了廣泛的小學(xué)到高中競(jìng)賽問(wèn)題。此外，它在評(píng)估代碼生成和解決問(wèn)題能力的HumanEval基準(zhǔn)測(cè)試中得分為74.1%。
圖源：xAI
基準(zhǔn)測(cè)試中的整體表現(xiàn)與GPT-4已十分接近，甚至在HumanEval測(cè)試上實(shí)現(xiàn)了超越。
緊接著xAI發(fā)布的多模態(tài)模型Grok-1.5V，號(hào)稱能連接數(shù)字世界和物理世界。不僅多項(xiàng)基準(zhǔn)測(cè)試可以和GPT-4V、Claude 3 Sonnet、Claude 3 Opus等這些最頂尖的多模態(tài)模型對(duì)打，還能處理文檔、圖標(biāo)、屏幕截圖和照片之類的各種視覺信息，支持讀懂梗圖、寫Python代碼的操作。
盡管馬斯克和xAI目前尚未公布關(guān)于Grok模型的詳細(xì)信息，但按照該模型的迭代趨勢(shì)，馬斯克口中將在“所有指標(biāo)”上超越當(dāng)前一代AI模型的Grok-2，看來(lái)也不是空口無(wú)憑。
更大的參數(shù)量、更強(qiáng)的性能和速度這些幾乎是板上釘釘?shù)纳?jí)，當(dāng)然最讓我期待的，或許還是年底左右推出的Grok-3，畢竟馬斯克表示該模型的水平將“達(dá)到或超越”尚未發(fā)布的OpenAI GPT-5，后者被認(rèn)為是大語(yǔ)言模型領(lǐng)域的下一個(gè)重大突破。
圖源：微博
如果Grok-3真能達(dá)到上述水平，那對(duì)馬斯克旗下公司的影響將是巨大的，比如陷入用戶增長(zhǎng)停滯的X和專注于FSD的特斯拉，前者可以借助大模型為用戶提供更智能的聊天機(jī)器人，打造社交平臺(tái)的差異化；后者則可以使用大模型語(yǔ)言進(jìn)行“思維鏈”處理，幫助汽車“端到端”分解視覺復(fù)雜場(chǎng)景，解決當(dāng)前自動(dòng)駕駛的某些局限。這點(diǎn)在Grok-1.5時(shí)，就傳出應(yīng)用在特斯拉FSD V13的消息。
但不論如何，Grok接下來(lái)很可能改變大模型的迭代和應(yīng)用方式，更可以確定的是，以Grok為代表的開源大模型，與閉源大模型之間的競(jìng)爭(zhēng)還在繼續(xù)加劇。
開源VS閉源，大模型路線之爭(zhēng)
馬斯克是開源的堅(jiān)定支持者，其曾多次公開表達(dá)對(duì)OpenAI閉源商業(yè)路線的不滿，并向法院提起訴訟，以違反合同為由起訴OpenAI及其CEO Sam Altman，要求恢復(fù)開源。
xAI的誕生，很大程度上就是為阻止人工智能領(lǐng)域出現(xiàn)“一家獨(dú)大”的局面。諷刺的是，OpenAI的"Open"程度真不如xAI。馬斯克如期開源了3140億參數(shù)的Grok-1，遵守Apache 2.0許可證允許用戶自由地使用、修改和分發(fā)軟件，無(wú)論是個(gè)人還是商業(yè)用途。
OpenAI是AI領(lǐng)先者，要求其開源ChatGPT背后模型代碼不太現(xiàn)實(shí)除非它自身愿意。但不可否認(rèn)，無(wú)論是國(guó)內(nèi)還是海外，大模型開源都已成為一大趨勢(shì)。
海外，去年7月Llama2宣布免費(fèi)可商用后，一舉成為了全球開發(fā)者首選的開源大模型。不久后，谷歌也通過(guò)發(fā)布Gemma開始進(jìn)入開源大模型的競(jìng)爭(zhēng)，憑借70億參數(shù)碾壓 Llama2-13B（130億參數(shù)）；國(guó)內(nèi)市場(chǎng)，阿里宣布開源720億參數(shù)的大語(yǔ)言模型通義千問(wèn)Qwen-72B，性能超越標(biāo)桿Llama2-70B，號(hào)稱最強(qiáng)中文開源模型。
大模型開源、閉源的路線之爭(zhēng)向來(lái)是熱點(diǎn)話題，不少行業(yè)大佬也發(fā)表了自己的觀點(diǎn)。百度CEO李彥宏是“閉源派”，其認(rèn)為在同樣的參數(shù)規(guī)模下，開源模型的能力不如閉源，如果開源模型想要在能力上追平閉源模型，就需要更大的參數(shù)規(guī)模，這將導(dǎo)致更高的推理成本和更慢的反應(yīng)速度。
圖源：2024世界人工智能大會(huì)
“大模型五虎”之一百川智能的CEO王小川，則是開源派的擁躉，其認(rèn)為開源與閉源并非對(duì)立關(guān)系，兩者并存互補(bǔ)或許才是更優(yōu)解。他預(yù)計(jì)，未來(lái)80%的企業(yè)會(huì)用到開源大模型，因?yàn)殚]源沒(méi)辦法對(duì)產(chǎn)品做更好的適配，或者成本特別高。
李彥宏和王小川的觀點(diǎn)沒(méi)有對(duì)錯(cuò)之分，只是不同的選擇，大模型開源與閉源的路線本質(zhì)上是由商業(yè)模式?jīng)Q定的。
閉源大模型在保護(hù)知識(shí)產(chǎn)權(quán)、確保數(shù)據(jù)安全合規(guī)等方面具有優(yōu)勢(shì)，但在靈活性和可定制方面可能會(huì)受到限制；開源大模型是互聯(lián)網(wǎng)成熟的商業(yè)模式，盡管最終目的也是變現(xiàn)，但因?yàn)橛卸喾絽⑴c，更像是一個(gè)整體推動(dòng)生態(tài)前進(jìn)，比如快速迭代、快速試錯(cuò)、共創(chuàng)共擔(dān)等等。
個(gè)人認(rèn)為谷歌高級(jí)軟件工程師Luke Sernau的表述十分準(zhǔn)確：開源模式的迭代進(jìn)步速度已經(jīng)威脅到了部分閉源模型的生存，因?yàn)殚_源方相當(dāng)于獲得了整個(gè)星球的免費(fèi)勞動(dòng)力。
這正是開/閉源大模型之爭(zhēng)的根源：不管開發(fā)者還是用戶，都更傾向于最好的開源項(xiàng)目，群聚效應(yīng)可能遠(yuǎn)比閉源大模型來(lái)得明顯。
寫在最后
按照馬斯克的理念，接下來(lái)發(fā)布的Grok-2大概率也會(huì)開源。面對(duì)日益加劇的開源大模型戰(zhàn)爭(zhēng)，不管是xAI、谷歌、Meta、阿里，還是Mistral AI、Databricks以及更多的開源大模型廠商，都還在繼續(xù)進(jìn)行迭代，提高性能、提高效率。畢竟誰(shuí)也無(wú)法篤定在這場(chǎng)快速變化的技術(shù)革命中，能不能守住甚至擴(kuò)大優(yōu)勢(shì)。
圖源：特斯拉
馬斯克給xAI帶來(lái)的影響力只是短期的，真正決定xAI未來(lái)的還得看Grok的實(shí)際表現(xiàn)，它或許可與X、特斯拉業(yè)務(wù)結(jié)合打造AI大模型標(biāo)桿殺手锏應(yīng)用，也可能只是“紙面參數(shù)”甚至Sora這樣的“技術(shù)期貨”，一切問(wèn)題，都要等到Grok-2發(fā)布那天，才會(huì)有更明確的答案。
