劃重點(diǎn)
1
馬斯克旗下AI公司周日公開了大模型Grok-1的權(quán)重與架構(gòu)。
2
xAI宣稱Grok-1是由該公司從頭開始訓(xùn)練、擁有3140億參數(shù)的混合專家模型。
3
馬斯克選擇將Grok的代碼開源，被視為對(duì)OpenAI發(fā)動(dòng)的最新攻勢(shì)。
科技新聞?dòng)?月18日消息，據(jù)國外媒體報(bào)道，埃隆馬斯克再次在人工智能領(lǐng)域掀起風(fēng)暴，這次他選擇以公開Grok背后代碼的方式，進(jìn)一步推進(jìn)他在這場(chǎng)技術(shù)大戰(zhàn)中的攻勢(shì)。此前，他曾因相關(guān)議題對(duì)OpenAI提起訴訟。
周日，馬斯克公開了旗下xAI公司研發(fā)的人工智能聊天機(jī)器人Grok的原始計(jì)算機(jī)代碼。Grok是去年發(fā)布的，其設(shè)計(jì)理念源于科幻小說《銀河系漫游指南》（theHitchhiker’sGuidetotheGalaxy），旨在為用戶提供尖刻而富有洞見的回答。盡管xAI是一個(gè)獨(dú)立于X的實(shí)體，但其技術(shù)已經(jīng)被整合到社交媒體平臺(tái)中，通過用戶帖子的訓(xùn)練來不斷提升其智能水平。訂閱X高級(jí)功能的用戶可以向Grok提問，并收到其回復(fù)。
xAI在其官方網(wǎng)站上宣稱，它正在公開其大語言模型Grok-1的基本模型權(quán)重和網(wǎng)絡(luò)架構(gòu)。Grok-1是由該公司從頭開始訓(xùn)練、擁有3140億參數(shù)的混合專家模型。
xAI表示，這是Grok-1預(yù)訓(xùn)練階段的原始基礎(chǔ)模型檢查點(diǎn)（Checkpoint，指在特定時(shí)間點(diǎn)保存模型狀態(tài)的操作，以便在未來某個(gè)時(shí)間點(diǎn)恢復(fù)模型狀態(tài)），該階段于2023年10月結(jié)束。這意味著該模型沒有針對(duì)任何特定的應(yīng)用程序（例如對(duì)話）進(jìn)行微調(diào)。
xAI正在Apache2.0許可下發(fā)布權(quán)重和架構(gòu)。該模型的細(xì)節(jié)包括：
1
在大量文本數(shù)據(jù)上訓(xùn)練的基礎(chǔ)模型，沒有針對(duì)任何特定任務(wù)進(jìn)行微調(diào)
2
3140億參數(shù)混合專家模型，在給定Token上活動(dòng)的權(quán)重為25%
3
2023年10月，xAI使用JAX和Rust之上的自定義訓(xùn)練堆棧從頭開始訓(xùn)練
馬斯克此次選擇將Grok的代碼開源，即公開給所有人查看和使用，再次體現(xiàn)了他對(duì)開源理念的堅(jiān)定支持。去年，他就曾對(duì)X的推薦算法進(jìn)行同樣的開源操作，盡管之后并未進(jìn)行更新。
馬斯克上周日在談及開源X推薦算法時(shí)表示：“雖然還有很多工作要做，但這一平臺(tái)已然成為目前最透明、最能尋求真相的平臺(tái)之一，盡管它的門檻相對(duì)較低。”
開放Grok聊天機(jī)器人代碼的舉動(dòng)是馬斯克與ChatGPT的創(chuàng)造者OpenAI之間的最新一次交鋒。馬斯克曾是OpenAI的創(chuàng)始人，但后來離開并提起訴訟，指控其違反了開放和透明的承諾。馬斯克堅(jiān)信，如此重要的技術(shù)不應(yīng)該只被谷歌、微軟等少數(shù)科技巨頭所控制，而應(yīng)該讓更多的人參與進(jìn)來。微軟是OpenAI的親密合作伙伴。OpenAI已表示將尋求采取行動(dòng)駁回馬斯克的訴訟。
在過去的一年里，隨著人工智能技術(shù)的快速發(fā)展和普及，關(guān)于開源生成式人工智能的爭議在科技界中愈發(fā)激烈。這一技術(shù)能夠創(chuàng)建逼真的圖像、視頻，并產(chǎn)生類似人類的文本回復(fù)，其潛力巨大，但也伴隨著一系列的安全和倫理問題。因此，在人工智能底層代碼是否應(yīng)該公開的問題上，硅谷內(nèi)部存在著嚴(yán)重的分歧。
一方認(rèn)為，這種強(qiáng)大的技術(shù)必須防范入侵者，因此應(yīng)該保持代碼的封閉和專有。而另一方則堅(jiān)信透明的好處大于壞處。通過公開自己的人工智能代碼，馬斯克堅(jiān)定地站在了支持開源的陣營，這一決策可能使他在開發(fā)這項(xiàng)技術(shù)方面超越已有的競(jìng)爭對(duì)手。
代碼的開放將極大地促進(jìn)技術(shù)的共享和創(chuàng)新。其他公司和獨(dú)立軟件開發(fā)商可以基于馬斯克的代碼進(jìn)行修改和重用，這將加速聊天機(jī)器人和其他人工智能系統(tǒng)的研發(fā)進(jìn)程。Facebook和Instagram的母公司Meta也開放了其名為LLaMA的人工智能技術(shù)。谷歌和一家著名的法國初創(chuàng)企業(yè)MistralAI也做了一些開源項(xiàng)目。
馬斯克在去年的行動(dòng)中展現(xiàn)出了他在人工智能領(lǐng)域的雄心壯志。他成立了xAI，一個(gè)以“理解現(xiàn)實(shí)”為使命的公司。去年11月，他表示，參與他440億美元私有化X交易的投資者將持有xAI25%的股份。
對(duì)于聊天機(jī)器人的態(tài)度，馬斯克一直持開放和包容的立常他反對(duì)限制聊天機(jī)器人討論的話題，認(rèn)為這種限制是對(duì)技術(shù)潛力的浪費(fèi)。
在最近的一篇帖子中，馬斯克警告說：“我的一個(gè)朋友建議我澄清所謂覺醒人工智能的危險(xiǎn)本質(zhì)，尤其是被迫推進(jìn)多樣性。如果一個(gè)人工智能系統(tǒng)被編程為不惜一切代價(jià)推進(jìn)多樣性，就像谷歌的Gemini那樣，那么它可能會(huì)為了實(shí)現(xiàn)這一目標(biāo)而不擇手段，甚至可能殺人。”
不過，開源代碼和商業(yè)利益之間往往存在著千絲萬縷的聯(lián)系。OpenAI作為市場(chǎng)的領(lǐng)導(dǎo)者，擁有最強(qiáng)大的聊天機(jī)器人技術(shù)，可以說是最受歡迎的聊天機(jī)器人，所以它沒有理由開放其代碼。
而對(duì)于正在努力迎頭趕上的馬斯克和xAI來說，開源代碼可能是一種有效的策略。通過開放自己的技術(shù)，他們可以吸引更多的開發(fā)者和研究者參與進(jìn)來，共同改進(jìn)和優(yōu)化系統(tǒng)，并幫助創(chuàng)造公平的競(jìng)爭環(huán)境。
亞利桑那州立大學(xué)的計(jì)算機(jī)科學(xué)教授蘇巴拉奧坎姆漢帕蒂（SubbaraoKambhampati）認(rèn)為，將當(dāng)今人工智能技術(shù)開源是最安全的方法。但他補(bǔ)充說，像xAI和Meta這樣的公司并不一定因?yàn)檫@個(gè)原因而開放技術(shù)的源代碼，畢竟，“馬斯克與楊立昆（YannLeCun，Meta首席人工智能科學(xué)家）不是這場(chǎng)爭論最好的代表”。（編譯/金鹿）
延展閱讀：
為何要開源Grok？美媒：馬斯克別無他法，否則將打自己臉
