每經(jīng)記者：蔡鼎每經(jīng)實(shí)習(xí)記者：岳楚鵬每經(jīng)編輯：蘭素英
人工智能（AI）的發(fā)展一直建立在這樣的信念之上：訓(xùn)練數(shù)據(jù)規(guī)模越大，模型就會(huì)越來(lái)越好。然而，業(yè)界近期曝出了大模型進(jìn)化遭遇“數(shù)據(jù)墻”的消息。
據(jù)外媒報(bào)道，OpenAI、谷歌和Anthropic在AI模型開(kāi)發(fā)方面都陷入了瓶頸，他們發(fā)現(xiàn)，新模型無(wú)法像前面幾代產(chǎn)品那樣帶來(lái)巨大的飛躍。這在AI圈瞬時(shí)炸開(kāi)了鍋。
圖靈獎(jiǎng)得主楊立昆（Yann LeCun）和OpenAI前首席科學(xué)家伊利亞蘇茨克維（Ilya Sutskever）等科技圈大佬不客氣地指出，大模型的規(guī)模法則（Scaling Law）已經(jīng)達(dá)到極限，必須轉(zhuǎn)變思維，改變訓(xùn)練模式了。
而OpenAI CEO阿爾特曼（Sam Altman）和Anthropic CEO達(dá)里奧阿莫迪（Dario Amodei）都相繼對(duì)“瓶頸”說(shuō)進(jìn)行反駁。盡管如此，OpenAI和谷歌都在積極轉(zhuǎn)變策略，研究如何解決訓(xùn)練數(shù)據(jù)匱乏的問(wèn)題，以及如何調(diào)整規(guī)模法則的應(yīng)用，保持模型穩(wěn)步發(fā)展。
在百度CEO李彥宏看來(lái)，模型開(kāi)發(fā)放緩也不見(jiàn)得是一件壞事。在最近的一次訪談中，他表示，基礎(chǔ)模型早期快速迭代是正常的，但如果兩年、三年了還這樣，那整個(gè)生態(tài)其實(shí)是會(huì)比較亂。Meta CEO扎克伯格也表示，即使在現(xiàn)有技術(shù)的基礎(chǔ)上，應(yīng)用層面依然有很大的發(fā)展空間。
圖片來(lái)源：視覺(jué)中國(guó)-VCG41N1309760279
OpenAI、谷歌和Anthropic遭遇開(kāi)發(fā)瓶頸據(jù)外媒，OpenAI的下一代旗艦?zāi)Ｐ涂赡懿粫?huì)像前面幾代產(chǎn)品那樣帶來(lái)巨大的飛躍。
測(cè)試代號(hào)為Orion的新模型的員工發(fā)現(xiàn)，盡管新模型性能超過(guò)了OpenAI現(xiàn)有的模型，但進(jìn)步程度并不如從GPT-3到GPT-4的進(jìn)步那么大。換句話說(shuō)，OpenAI改進(jìn)的速度似乎正在放緩。
OpenAI并不是唯一遭遇阻礙的公司，其競(jìng)爭(zhēng)對(duì)手谷歌和Anthropic也傳出了先進(jìn)AI模型開(kāi)發(fā)遇到瓶頸的消息。在以驚人的速度推出日益復(fù)雜的AI產(chǎn)品之后，這三家領(lǐng)先的AI公司現(xiàn)在意識(shí)到，他們?cè)陂_(kāi)發(fā)新模型上進(jìn)行的大量投入所帶來(lái)的回報(bào)正在逐漸減少。
據(jù)知情人士透露，谷歌即將推出的新版Gemini未達(dá)到內(nèi)部預(yù)期，Anthropic也推遲了Claude 3.5 Opus模型的計(jì)劃發(fā)布時(shí)間。
高質(zhì)量人造訓(xùn)練數(shù)據(jù)的缺乏是AI模型開(kāi)發(fā)面臨挑戰(zhàn)的一大原因。外媒援引兩位知情人士稱，Orion在編程任務(wù)上的表現(xiàn)不盡如人意，部分原因是缺乏足夠的編程數(shù)據(jù)進(jìn)行訓(xùn)練。即使是有一些小幅的改進(jìn)，也難以證明新模型構(gòu)建和運(yùn)營(yíng)的高昂成本是合理的，這與市場(chǎng)對(duì)于重大升級(jí)的期待之間存在差距。
科技圈大佬激辯“數(shù)據(jù)墻”AI模型開(kāi)發(fā)遇阻的消息公開(kāi)后，知名AI評(píng)論家加里馬庫(kù)斯（Gary Marcus）甚至直接單方面宣布“勝利”：“游戲結(jié)束，我贏了！我早就說(shuō)過(guò)，GPT正在陷入收益遞減階段�！币恢币詠�(lái)，馬庫(kù)斯就預(yù)測(cè)，生成式AI的發(fā)展將進(jìn)入停滯階段。
圖片來(lái)源：X平臺(tái)
AI懷疑論者經(jīng)常警告，僅僅通過(guò)擴(kuò)大規(guī)模來(lái)提高大模型的方法是有限的。一年前，比爾蓋茨就表示，有很多理由相信，當(dāng)前生成式人工智能（AGI）已經(jīng)達(dá)到極限�！癎PT-5不會(huì)比GPT-4好多少�！�
OpenAI前首席科學(xué)家、Safe Superintelligence聯(lián)合創(chuàng)始人蘇茨克維近日在接受外媒采訪時(shí)也表示，擴(kuò)大預(yù)訓(xùn)練的結(jié)果已經(jīng)達(dá)到了平臺(tái)期。所謂預(yù)訓(xùn)練，即使用大量未標(biāo)記數(shù)據(jù)來(lái)訓(xùn)練AI模型以理解語(yǔ)言模式和結(jié)構(gòu)的階段。
Meta首席科學(xué)家、圖靈獎(jiǎng)得主楊立昆還轉(zhuǎn)發(fā)了蘇茨克維這條新聞，并評(píng)論，“我早就告訴過(guò)你們了，Meta早就開(kāi)始轉(zhuǎn)型了�！�
圖片來(lái)源：Thread
不過(guò)，OpenAI CEO阿爾特曼周四在X上發(fā)帖稱，“沒(méi)有墻（there is no wall）”，暗示AI發(fā)展沒(méi)有遇到瓶頸。
圖片來(lái)源：X
Anthropic創(chuàng)始人、規(guī)模法則論文的共同作者達(dá)里奧阿莫迪也在近日的播客中表示，規(guī)模法則來(lái)自經(jīng)驗(yàn)而非客觀規(guī)律，他認(rèn)為這一法則仍然會(huì)繼續(xù)存在。
科技公司轉(zhuǎn)變策略盡管阿爾特曼駁斥了“瓶頸”一說(shuō)，但OpenAI也一直在進(jìn)行第二手準(zhǔn)備。
OpenAI成立了一個(gè)基礎(chǔ)團(tuán)隊(duì)，由之前負(fù)責(zé)預(yù)訓(xùn)練的Nick Ryder領(lǐng)導(dǎo)。該團(tuán)隊(duì)主要探索如何應(yīng)對(duì)訓(xùn)練數(shù)據(jù)的匱乏，調(diào)整規(guī)模法則的應(yīng)用，保持模型改進(jìn)的穩(wěn)定性。
例如，OpenAI的研究人員開(kāi)始采用AI生成的合成數(shù)據(jù)來(lái)訓(xùn)練模型。他們還采用了強(qiáng)化學(xué)習(xí)方法，通過(guò)讓模型從大量有正解的任務(wù)中學(xué)習(xí)（比如數(shù)學(xué)或編程問(wèn)題），以此來(lái)改進(jìn)處理特定任務(wù)的方式。此外，OpenAI還嘗試在預(yù)訓(xùn)練后進(jìn)行推理，即讓模型在回答問(wèn)題時(shí)花更多時(shí)間“思考”。OpenAI科學(xué)家Noam Brown稱它是推理計(jì)算的Scaling（擴(kuò)展）。
圖片來(lái)源：X
谷歌似乎也在效仿OpenAI的做法。最近幾周，DeepMind在其Gemini部門組建了一個(gè)團(tuán)隊(duì)，旨在開(kāi)發(fā)類似OpenAI推理模型的能力。
谷歌的研究人員也在專注于對(duì)模型進(jìn)行手動(dòng)改進(jìn)。參與這項(xiàng)工作的人員表示，改進(jìn)工作包括改變“超參數(shù)”，或者是決定模型如何處理信息的變量，例如模型在訓(xùn)練數(shù)據(jù)中建立不同概念或模式之間聯(lián)系的速度。
巨頭紛紛轉(zhuǎn)向AI應(yīng)用在AI進(jìn)化遇阻的討論下，AI應(yīng)用迎來(lái)大爆發(fā)。
得益于AI廣告引擎模型Axon2.0帶來(lái)的廣告匹配效率提升，廣告平臺(tái)公司AppLovin業(yè)績(jī)大超預(yù)期。年初至今，該股的累計(jì)漲幅高達(dá)650%，是英偉達(dá)同期漲幅的3倍以上，總市值已經(jīng)接近1000億美元。
圖片來(lái)源：谷歌財(cái)經(jīng)
AI平臺(tái)（AIP）顯著推動(dòng)了Palantir的業(yè)務(wù)增長(zhǎng)。11月15日，這家公司宣布計(jì)劃將其上市地點(diǎn)從紐約證券交易所轉(zhuǎn)移至納斯達(dá)克交易所。當(dāng)天，該股漲11.14%，報(bào)65.77美元，該股年初至今漲283.05%。
國(guó)內(nèi)AI應(yīng)用中，字節(jié)跳動(dòng)旗下的豆包年初至今累計(jì)下載量已經(jīng)突破1億。10月份，Kimi的月活躍用戶數(shù)突破千萬(wàn)大關(guān)。MiniMax海外版應(yīng)用的10月訪問(wèn)量較上月暴漲2773%。
百度CEO李彥宏認(rèn)為，AI模型開(kāi)發(fā)放緩也不一定就是個(gè)壞事。在最近的一次訪談中，他表示，基礎(chǔ)模型早期快速迭代是正常的，但如果兩年、三年了還這樣，那整個(gè)生態(tài)其實(shí)是會(huì)比較亂。
李彥宏解釋道：“基礎(chǔ)模型不能夠特別快地迭代。如果老在變，那做應(yīng)用的人就無(wú)所適從了，該做什么我不知道，我剛做了兩個(gè)月，你又升級(jí)了，把我做的沖掉了，白做了，我又得重新適應(yīng)一遍新的規(guī)則。我覺(jué)得可能兩年一個(gè)大的版本是一個(gè)比較合適的節(jié)奏�！�
扎克伯格也表示，在最壞的情況下，即使技術(shù)沒(méi)有改進(jìn)，仍然有很大空間在現(xiàn)有技術(shù)的基礎(chǔ)上打造消費(fèi)者和企業(yè)產(chǎn)品。
作為AI領(lǐng)域的領(lǐng)頭羊，OpenAI也在加強(qiáng)對(duì)應(yīng)用層面的探索。據(jù)報(bào)道，OpenAI將于明年1月推出能夠幫助用戶整理文件，預(yù)訂機(jī)票的AI智能體（AI Agent）軟件。
谷歌正在開(kāi)發(fā)一款代號(hào)為賈維斯計(jì)劃的AI代理軟件，“賈維斯”這個(gè)名字的靈感來(lái)自《鋼鐵俠》的全能AI管家賈維斯。
黃仁勛也開(kāi)始對(duì)AI應(yīng)用表達(dá)了興趣。本周，他在日本舉行的英偉達(dá)AI峰會(huì)上和孫正義一起宣布，將聯(lián)合軟銀在日本打造AI+5G網(wǎng)絡(luò)。
同時(shí)，他也在會(huì)上強(qiáng)調(diào)了AI智能體的潛力即具備理解、推理、規(guī)劃和執(zhí)行能力的高級(jí)數(shù)字智能體，能夠改變各個(gè)行業(yè)的生產(chǎn)力。他指出，這些智能體能夠處理復(fù)雜的多步驟任務(wù)，有望“為人類完成 50% 的工作”，從而大幅提升人類的生產(chǎn)力。通過(guò)將數(shù)據(jù)轉(zhuǎn)化為可操作的見(jiàn)解，代理式 AI 為企業(yè)提供了強(qiáng)大的工具，可以在不取代人類角色的情況下提升運(yùn)營(yíng)效率。
圖片來(lái)源：英偉達(dá)官網(wǎng)
值得注意的是，英偉達(dá)的財(cái)報(bào)將于北京時(shí)間11月21日公布，預(yù)計(jì)在財(cái)報(bào)發(fā)布后的電話會(huì)議上，黃仁勛將宣布更多關(guān)于AI應(yīng)用的消息。
過(guò)去一周，英偉達(dá)股價(jià)的“瘋漲”勢(shì)頭暫時(shí)有所放緩。
圖片來(lái)源：谷歌財(cái)經(jīng)
投資公司Roundhill CEO Dave Mazza對(duì)《每日經(jīng)濟(jì)新聞》記者表示，英偉達(dá)需要在AI領(lǐng)域?qū)崿F(xiàn)新的技術(shù)突破以及持續(xù)的收入增長(zhǎng)，才能保持市值的領(lǐng)先地位。
每日經(jīng)濟(jì)新聞
