“o1發(fā)布后，一個(gè)新的范式產(chǎn)生了”。
其中關(guān)鍵，OpenAI研究科學(xué)家、o1核心貢獻(xiàn)者Hyung Won Chung，剛剛就此分享了他在MIT的一次演講。
演講主題為“Don’t teach. Incentivize（不要教，要激勵(lì)），核心觀點(diǎn)是：
激勵(lì)A(yù)I自我學(xué)習(xí)比試圖教會(huì)AI每一項(xiàng)具體任務(wù)更重要
思維鏈作者Jason Wei迅速趕來打call：
Hyung Won識別新范式并完全放棄任何沉沒成本的能力給我留下了深刻的印象。2022年底，他意識到了強(qiáng)化學(xué)習(xí)的力量，并從那時(shí)起就一直在宣揚(yáng)它。
在演講中，Hyung Won還分享了：
技術(shù)人員過于關(guān)注問題解決本身，但更重要的是發(fā)現(xiàn)重大問題；
硬件進(jìn)步呈指數(shù)級增長，軟件和算法需要跟上；
當(dāng)前存在一個(gè)誤區(qū)，即人們正在試圖讓AI學(xué)會(huì)像人類一樣思考；
“僅僅擴(kuò)展規(guī)模” 往往在長期內(nèi)更有效；
……
下面奉上演講主要內(nèi)容。
對待AI：授人以魚不如授人以漁先簡單介紹下Hyung Won Chung，從公布的o1背后人員名單來看，他屬于推理研究的基礎(chǔ)貢獻(xiàn)者。
資料顯示，他是MIT博士（方向?yàn)榭稍偕茉春湍茉聪到y(tǒng)），去年2月加入OpenAI擔(dān)任研究科學(xué)家。
加入OpenAI之前，他在Google Brain負(fù)責(zé)大語言模型的預(yù)訓(xùn)練、指令微調(diào)、推理、多語言、訓(xùn)練基礎(chǔ)設(shè)施等。
在谷歌工作期間，曾以一作身份，發(fā)表了關(guān)于模型微調(diào)的論文。（思維鏈作者Jason Wei同為一作）
回到正題。在MIT的演講中，他首先提到：
通往AGI唯一可行的方法是激勵(lì)模型，使通用技能出現(xiàn)。
在他看來，AI領(lǐng)域正處于一次范式轉(zhuǎn)變，即從傳統(tǒng)的直接教授技能轉(zhuǎn)向激勵(lì)模型自我學(xué)習(xí)和發(fā)展通用技能。
理由也很直觀，AGI所包含的技能太多了，無法一一學(xué)習(xí)。（主打以不變應(yīng)萬變）
具體咋激勵(lì)呢？？
他以下一個(gè)token預(yù)測為例，說明了這種弱激勵(lì)結(jié)構(gòu)如何通過大規(guī)模多任務(wù)學(xué)習(xí)，鼓勵(lì)模型學(xué)習(xí)解決數(shù)萬億個(gè)任務(wù)的通用技能，而不是單獨(dú)解決每個(gè)任務(wù)。
他觀察到：
如果嘗試以盡可能少的努力解決數(shù)十個(gè)任務(wù)，那么單獨(dú)模式識別每個(gè)任務(wù)可能是最簡單的；如果嘗試解決數(shù)萬億個(gè)任務(wù)，通過學(xué)習(xí)通用技能（例如語言、推理等）可能會(huì)更容易解決它們。
對此他打了個(gè)比方，“授人以魚不如授人以漁”，用一種基于激勵(lì)的方法來解決任務(wù)。
Teach him the taste of fish and make him hungry.（教AI嘗嘗魚的味道，讓他餓一下）
然后AI就會(huì)自己出去釣魚，在此過程中，AI將學(xué)習(xí)其他技能，例如耐心、學(xué)習(xí)閱讀天氣、了解魚等。
其中一些技能是通用的，可以應(yīng)用于其他任務(wù)。
面對這一“循循善誘”的過程，也許有人認(rèn)為還不如直接教來得快。
但在Hyung Won看來：
對于人類來說確實(shí)如此，但是對于機(jī)器來說，我們可以提供更多的計(jì)算來縮短時(shí)間。
換句話說，面對有限的時(shí)間，人類也許還要在專家 or 通才之間做選擇，但對于機(jī)器來說，算力就能出奇跡。
他又舉例說明，《龍珠》里有一個(gè)設(shè)定：在特殊訓(xùn)練場所，角色能在外界感覺只是一天的時(shí)間內(nèi)獲得一年的修煉效果。
對于機(jī)器來說，這個(gè)感知差值要高得多。因此，具有更多計(jì)算能力的強(qiáng)大通才通常比專家更擅長特殊領(lǐng)域。
原因也眾所周知，大型通用模型能夠通過大規(guī)模的訓(xùn)練和學(xué)習(xí)，快速適應(yīng)和掌握新的任務(wù)和領(lǐng)域，而不需要從頭開始訓(xùn)練。
他還補(bǔ)充道，數(shù)據(jù)顯示計(jì)算能力大約每5年提高10倍。
總結(jié)下來，Hyung Won認(rèn)為核心在于：
模型的可擴(kuò)展性
算力對加速模型進(jìn)化至關(guān)重要
此外，他還認(rèn)為當(dāng)前存在一個(gè)誤區(qū)，即人們正在試圖讓AI學(xué)會(huì)像人類一樣思考。
但問題是，我們并不知道自己在神經(jīng)元層面是如何思考的。
機(jī)器應(yīng)該有更多的自主性來選擇如何學(xué)習(xí)，而不是被限制在人類理解的數(shù)學(xué)語言和結(jié)構(gòu)中。
在他看來，一個(gè)系統(tǒng)或算法過于依賴人為設(shè)定的規(guī)則和結(jié)構(gòu)，那么它可能難以適應(yīng)新的、未預(yù)見的情況或數(shù)據(jù)。
造成的結(jié)果就是，面對更大規(guī)�；蚋鼜�(fù)雜的問題時(shí)，其擴(kuò)展能力將會(huì)受限。
回顧AI過去70年的發(fā)展，他總結(jié)道：
AI的進(jìn)步與減少人為結(jié)構(gòu)、增加數(shù)據(jù)和計(jì)算能力息息相關(guān)。
與此同時(shí)，面對當(dāng)前人們對scaling Law的質(zhì)疑，即認(rèn)為僅僅擴(kuò)大計(jì)算規(guī)模可能被認(rèn)為不夠科學(xué)或有趣。
Hyung Won的看法是：
在擴(kuò)展一個(gè)系統(tǒng)或模型的過程中，我們需要找出那些阻礙擴(kuò)展的假設(shè)或限制條件。
舉個(gè)例子，在機(jī)器學(xué)習(xí)中，一個(gè)模型可能在小數(shù)據(jù)集上表現(xiàn)良好，但是當(dāng)數(shù)據(jù)量增加時(shí)，模型的性能可能會(huì)下降，或者訓(xùn)練時(shí)間會(huì)變得不可接受。
這時(shí)，可能需要改進(jìn)算法，優(yōu)化數(shù)據(jù)處理流程，或者改變模型結(jié)構(gòu)，以適應(yīng)更大的數(shù)據(jù)量和更復(fù)雜的任務(wù)。
也就是說，一旦識別出瓶頸，就需要通過創(chuàng)新和改進(jìn)來替換這些假設(shè)，以便模型或系統(tǒng)能夠在更大的規(guī)模上有效運(yùn)行。
訓(xùn)練VS推理：效果相似，推理成本卻便宜1000億倍除了上述，o1另一核心作者Noam Brown也分享了一個(gè)觀點(diǎn)：
訓(xùn)練和推理對模型性能提升作用相似，但后者成本更低，便宜1000億倍。
這意味著，在模型開發(fā)過程中，訓(xùn)練階段的資源消耗非常巨大，而實(shí)際使用模型進(jìn)行推理時(shí)的成本則相對較低。
有人認(rèn)為這凸顯了未來模型優(yōu)化的潛力。
不過也有人對此持懷疑態(tài)度，認(rèn)為二者壓根沒法拿來對比。
這是一個(gè)奇怪的比較。一個(gè)是邊際成本，另一個(gè)是固定成本。這就像說實(shí)體店比其中出售的商品貴500000倍
對此，你怎么看？
