劃重點(diǎn)
01人工智能科學(xué)家伊利亞蘇茨克維表示，擴(kuò)大預(yù)訓(xùn)練規(guī)模的時代已經(jīng)結(jié)束，現(xiàn)在回到了奇跡和發(fā)現(xiàn)的時代。
02由于訓(xùn)練大型模型需要大量數(shù)據(jù)和計(jì)算能力，一些科技公司面臨延遲和挑戰(zhàn)。
03研究人員正在探索“測試時間計(jì)算”，以提高模型在推理階段的性能。
04與此同時，頂級人工智能實(shí)驗(yàn)室如Anthropic、xAI和谷歌DeepMind等也在開發(fā)自己的技術(shù)。
05專家預(yù)測，這種轉(zhuǎn)變將把人工智能硬件競爭推向推理云，英偉達(dá)在推理市場的芯片需求將增加。
以上內(nèi)容由大模型生成，僅供參考
自從兩年前聊天機(jī)器人ChatGPT發(fā)布并風(fēng)靡全球的后，一批科技公司的估值受益于這波AI熱潮。他們堅(jiān)信：通過增加更多數(shù)據(jù)和計(jì)算能力就來“擴(kuò)大”當(dāng)前模型，便能持續(xù)改進(jìn)模型的能力。但現(xiàn)在，這種“越大越好”的信念開始受到挑戰(zhàn)，一些人工智能科學(xué)家公開提出，這種模式存在局限性，并且包括ChatGPT的所屬公司OpenAI在內(nèi)，這些科技公司正在尋找更聰明的人工智能新途徑。
據(jù)路透社當(dāng)?shù)貢r間11月11日報(bào)道，AI公司在訓(xùn)練新的大模型方面面臨延遲和挑戰(zhàn)，三位知情人士透露，有人工智能實(shí)驗(yàn)室的研究人員在發(fā)布一種大語言模型的競賽中遇到了拖延和令人失望的結(jié)果，該模型的性能要優(yōu)于OpenAI的GPT-4模型。
Safe Superintelligence （SSI，安全超級智）聯(lián)合創(chuàng)始人伊利亞蘇茨克維（Ilya Sutskever）表示，擴(kuò)大預(yù)訓(xùn)練的結(jié)果已經(jīng)達(dá)到了平臺期。所謂預(yù)訓(xùn)練，即使用大量未標(biāo)記數(shù)據(jù)來訓(xùn)練人工智能模型以理解語言模式和結(jié)構(gòu)的階段。蘇茨克維曾擔(dān)任OpenAI首席科學(xué)家，今年早些時候，蘇茨克維從OpenAI辭職，隨后成立了SSI。
“2010年代是規(guī)模擴(kuò)大的時代，現(xiàn)在人們又回到了奇跡和發(fā)現(xiàn)的時代。每個人都在尋找下一個東西�！碧K茨克維表示，現(xiàn)在對正確的事情“擴(kuò)大規(guī)�！北纫酝魏螘r候都更重要。蘇茨克維拒絕透露他的團(tuán)隊(duì)在解決這個問題時的更多細(xì)節(jié)，只表示SSI正在研究一種擴(kuò)大預(yù)訓(xùn)練規(guī)模的替代方法。
大模型吞噬了海量數(shù)據(jù)，耗盡了世界上所有容易獲取的數(shù)據(jù)，模型訓(xùn)練需要大量芯片，成本高昂，電力短缺也阻礙了模型訓(xùn)練。據(jù)路透社報(bào)道，為了克服這些挑戰(zhàn)，研究人員正在探索“測試時間計(jì)算”，這是一種在推理階段或模型被使用時增強(qiáng)現(xiàn)有模型的技術(shù)。例如模型可以實(shí)時生成和評估多種可能性，并最終選擇最佳路徑，而不是立即選擇單一答案。
這種方法允許模型將更多的處理能力用于具有挑戰(zhàn)性的任務(wù)，如數(shù)學(xué)、編程或需要類似人類推理和決策的復(fù)雜操作。“事實(shí)證明，讓一個機(jī)器人在玩撲克牌中思考20秒，與將模型擴(kuò)大10萬倍并訓(xùn)練它10萬倍的效果相同�！監(jiān)penAI研究o1的研究員諾姆布朗（Noam Brown）上個月在舊金山表示。o1是OpenAI推出的新一代模型系列，和此前的模型相比，該模型展現(xiàn)出了強(qiáng)大的推理能力。
知情人士透露，來自Anthropic、xAI和谷歌DeepMind等頂級人工智能實(shí)驗(yàn)室的研究人員也一直在開發(fā)自己版本的人工智能技術(shù)。
這可能會改變?nèi)斯ぶ悄苡布母偁幐窬�。十多位人工智能科學(xué)家、研究人員和投資者告訴路透社，他們認(rèn)為OpenAI最近發(fā)布的o1模型背后的技術(shù)可能會重塑人工智能“軍備競賽”，并對永遠(yuǎn)無法滿足AI企業(yè)需求的能源、芯片等資源產(chǎn)生影響。
“這種轉(zhuǎn)變將把我們從大規(guī)模預(yù)訓(xùn)練集群的世界推向推理云，這是一種分布式的、基于云的推理服務(wù)器�！奔t杉資本合伙人Sonya Huang表示。
據(jù)路透社報(bào)道，在芯片方面，與英偉達(dá)占據(jù)主導(dǎo)地位的訓(xùn)練芯片不同，在推理市場這個芯片巨頭或?qū)⒚媾R更多競爭。不過，英偉達(dá)首席執(zhí)行官黃仁勛曾表示，使用英偉達(dá)芯片進(jìn)行推理的需求正在增加�！拔覀儸F(xiàn)在已經(jīng)發(fā)現(xiàn)了第二個尺度定律（scaling law），這是推理階段的尺度定律……所有這些因素導(dǎo)致對Blackwell（英偉達(dá)最新的人工智能芯片）芯片的需求非常高。”黃仁勛上個月在印度的一次會議上說。
