夢晨 發(fā)自 凹非寺量子位 | 公眾號 QbitAI
猛料來了，OpenAI下一代旗艦模型被曝提升不如預期。
消息來自The Information，具體指代號“獵戶座”（Orion）的模型相對GPT-4的提升幅度，小于GPT-4相對GPT-3，已進入收益遞減階段。
或許這也是奧特曼曾說，可能不會把新模型命名為GPT-5的原因之一。
消息一出，著名悲觀派學者Gary Marcus直接半場開香檳，宣布自己勝利。
在更詳細的一篇文章中，他認為整個AI行業(yè)公司的高估值建立在模型能力不斷增強、迅速達到AGI的預期之上。
如果改進放慢了，多數(shù)AI公司都能趕上最前沿模型的水平。從此行業(yè)進入價格戰(zhàn)，收入保持在低位。同時因芯片成本高昂，利潤也將難以獲得。
當每個人都意識到這一點時，金融泡沫可能會迅速破滅，即使是英偉達也可能受到打擊。
并且遇到瓶頸的或許不只是OpenAI，此前Anthropic沒有如期發(fā)布Claude 3.5 Opus，并且從官網(wǎng)刪除了相關描述。
以及谷歌Gemini 2雖然計劃很快發(fā)布，但也被曝性能提升也不及DeepMind創(chuàng)始人的預期。
大模型Scaling Law真的撞墻了嗎？
“獵戶座”被曝不及預期，奧特曼：AGI 2025根據(jù)目前消息，長期跟蹤ChatGPT進展和網(wǎng)頁源碼的“光頭哥”Tibor Blaho總結(jié)如下：
參與測試新模型的OpenAI員工稱， “獵戶座”僅完成20%訓練時就達到了GPT-4級別的性能。
但最終質(zhì)量提升小于從GPT-3到GPT-4的飛躍，這表明傳統(tǒng)的Scaling可能由于高質(zhì)量數(shù)據(jù)變得有限而放緩。
訓練“獵戶座”使用了先前模型（GPT-4和o1）生成的數(shù)據(jù)，可能導致它重現(xiàn)舊模型的一些行為。
OpenAI創(chuàng)建了一個“基礎團隊”，在高質(zhì)量數(shù)據(jù)供應減少的情況下尋找新方法。
o1類模型成本是傳統(tǒng)模型的6倍，“獵戶座”可能提高OpenAI數(shù)據(jù)中心的運營成本，進一步增加財務壓力。
OpenAI正在做“獵戶座”的安全測試，計劃于明年初發(fā)布，可能不會再命名為GPT系列
與此同時，從OpenAI CEO和許多資深員工那里，傳來的卻是不同的故事。
首先是奧特曼接受YC總裁Garry Tan采訪，在回答最后一個問題“2025年什么會讓你興奮”時，脫口而出“AGI”，沒有半秒猶豫。
這段采訪引起爭議后，強化學習大牛Noam Brown發(fā)聲：
我聽人們說奧特曼只是在炒作，但從我的觀察來看，他說的一切都符合OpenAI一線研究員的中位數(shù)觀點。
今年1月才入職OpenAI的特斯拉前工程師也表達了認同：
自從我加入以來，我的觀點已經(jīng)從“這是毫無成效的炒作”轉(zhuǎn)變成“AGI基本就在這里”
恕我直言，接下來的科學創(chuàng)新會相對很少，將由多年的艱苦工程代替。
那么，究竟發(fā)生了什么？
在Garry Tan與奧特曼的對話中，兩人從奧特曼早期在YC的經(jīng)歷，談到OpenAI的創(chuàng)立、發(fā)展過程，以及給如今創(chuàng)業(yè)公司的建議等等。
在接近結(jié)束的時候，Garry Tan拋出了這樣的問題：你從去年秋天的動蕩中學到了什么？你對一些人員離職有什么感受？
奧特曼回答：很累，但感覺很好。
ChatGPT還不到兩歲，我們有點像在兩年內(nèi)速通了中型甚至大型科技公司的發(fā)展歷程，通常需要十年時間。
這帶來了很多痛苦的事情。任何公司在擴張時，都會以某種速度經(jīng)歷管理團隊的更替。擅長從0到1的人不一定適合從1到10或從10到100的階段。
……我希望我們現(xiàn)在正走向一個更平穩(wěn)的時期，但我確信將來還會有其他時期，事情會再次變化劇烈。
Garry Tan接著提問：我想知道OpenAI現(xiàn)在運作的如何？目前的質(zhì)量和推進速度如何？
奧特曼接下來的回答雖然一如既往的打太極，但引起很多關注：
這是我們第一次真正知道該做什么。構(gòu)建AGI仍然需要大量的工作，有一些已知和未知，還需要一段時間，而且會很困難，但這非常令人興奮。
……我們的研究路徑相當清晰，我們的基礎設施路徑相當清晰，產(chǎn)品路徑也越來越清晰……很長一段時間，我們都不是這樣。
評論區(qū)網(wǎng)友顯然不買賬，有人懷疑這只是奧特曼在試圖修改AGI的定義，按照合同，一旦董事會宣布AGI達成，就可以停止與微軟分享技術(shù)了。
也有人指出，這無法解釋最近OpenAI人才頻繁出走。
對于人才流動，OpenAI模型架構(gòu)研究員Rohan Pandey表示并沒有人們以為的那么嚴重。
今年早些時候OpenAI員工總數(shù)被曝已超過1700，比去年董事會叛變時期增加了上千人。
也有網(wǎng)友認為，反過來也說得通：
OpenAI高管看到技術(shù)進展很快，所以提前離開去創(chuàng)辦AI智能體公司。
參考鏈接：[1]https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows[2]https://www.youtube.com/watch?v=xXCBz_8hM9w[3]https://garymarcus.substack.com/p/confirmed-llms-have-indeed-reached[4]https://www.theverge.com/2024/10/25/24279600/google-next-gemini-ai-model-openai-december[5]https://x.com/btibor91/status/1855381376054251654
