圖片來(lái)源：OpenAI使用 ChatGPT 和其他人工智能產(chǎn)品的人數(shù)正在激增。然而，支撐它們的基本構(gòu)建塊的改進(jìn)速度似乎正在放緩。
這一情況促使了 OpenAI（ChatGPT 的開(kāi)發(fā)者）想出新的技術(shù)來(lái)增強(qiáng)這些被稱(chēng)為大型語(yǔ)言模型的基礎(chǔ)構(gòu)件，以彌補(bǔ)放緩。
要點(diǎn)
OpenAI 下一個(gè)旗艦?zāi)Ｐ偷馁|(zhì)量提升低于最后兩個(gè)旗艦?zāi)Ｐ椭g的質(zhì)量躍升
該行業(yè)正在將其努力轉(zhuǎn)向在初始訓(xùn)練后改進(jìn)模型
OpenAI 成立了一個(gè)基礎(chǔ)團(tuán)隊(duì)，以解決訓(xùn)練數(shù)據(jù)匱乏的問(wèn)題
OpenAI 在其即將推出的旗艦?zāi)Ｐ?Orion 面臨的挑戰(zhàn)顯示了該公司所面臨的困難。
5 月，OpenAI 首席執(zhí)行官山姆奧特曼告訴員工，他預(yù)計(jì) Orion 這款初創(chuàng)公司的研究人員正在訓(xùn)練的模型將比一年前發(fā)布的最后一款旗艦?zāi)Ｐ惋@著更好。
盡管 OpenAI 僅完成了 Orion 訓(xùn)練過(guò)程的 20%，但根據(jù)一位聽(tīng)到該評(píng)論的人所說(shuō)，它在智能和完成任務(wù)及回答問(wèn)題的能力方面已經(jīng)與 GPT-4 不相上下。
盡管 Orion 的性能最終超過(guò)了之前的模型，但與公司發(fā)布的最后兩個(gè)旗艦?zāi)Ｐ?GPT-3 和 GPT-4 之間的飛躍相比，質(zhì)量的提升要小得多，一些使用或測(cè)試過(guò) Orion 的 OpenAI 員工表示。
根據(jù)員工的說(shuō)法，公司的某些研究人員認(rèn)為，Orion 在處理某些任務(wù)時(shí)并不比其前身更可靠。根據(jù)一位 OpenAI 員工的說(shuō)法，Orion 在語(yǔ)言任務(wù)上表現(xiàn)更好，但在編碼等任務(wù)上可能不如之前的模型。這可能是個(gè)問(wèn)題，因?yàn)榕c OpenAI 最近發(fā)布的其他模型相比，Orion 在其數(shù)據(jù)中心的運(yùn)行成本可能更高，這位人士表示。
Orion 的情況可能會(huì)檢驗(yàn)人工智能領(lǐng)域的一個(gè)核心假設(shè)，即規(guī)模法則：只要有更多的數(shù)據(jù)可供學(xué)習(xí)和額外的計(jì)算能力來(lái)促進(jìn)訓(xùn)練過(guò)程，LLMs 就會(huì)繼續(xù)以相同的速度改善。
針對(duì)最近由于 GPT 改進(jìn)放緩而對(duì)基于訓(xùn)練的擴(kuò)展法則提出的挑戰(zhàn)，行業(yè)似乎正在將其努力轉(zhuǎn)向在初始訓(xùn)練后改進(jìn)模型，這可能會(huì)產(chǎn)生不同類(lèi)型的擴(kuò)展法則。
一些首席執(zhí)行官，包括 Meta Platforms 的馬克扎克伯格，表示在最壞的情況下，即使當(dāng)前技術(shù)沒(méi)有改善，仍然有很多空間可以在此基礎(chǔ)上構(gòu)建消費(fèi)和企業(yè)產(chǎn)品。
在 OpenAI，例如，該公司正在忙于將更多的代碼編寫(xiě)能力融入其模型，以應(yīng)對(duì)來(lái)自競(jìng)爭(zhēng)對(duì)手 Anthropic 的重大威脅。它還在開(kāi)發(fā)一種可以接管個(gè)人計(jì)算機(jī)以完成涉及網(wǎng)頁(yè)瀏覽器活動(dòng)或應(yīng)用程序的白領(lǐng)任務(wù)的軟件，通過(guò)執(zhí)行點(diǎn)擊、光標(biāo)移動(dòng)、文本輸入和其他人類(lèi)在使用不同應(yīng)用程序時(shí)執(zhí)行的操作。
這些產(chǎn)品是朝著處理多步驟任務(wù)的人工智能代理的運(yùn)動(dòng)的一部分，可能會(huì)像 ChatGPT 的首次發(fā)布一樣具有革命性。
此外，扎克伯格、奧特曼和其他人工智能開(kāi)發(fā)公司的首席執(zhí)行官們也公開(kāi)表示，他們尚未達(dá)到傳統(tǒng)Scaling Law的極限。
這可能就是為什么包括 OpenAI 在內(nèi)的公司仍在開(kāi)發(fā)昂貴的數(shù)十億美元的數(shù)據(jù)中心，以盡可能從預(yù)訓(xùn)練模型中獲得更多性能提升。
然而，OpenAI 研究員諾姆布朗上個(gè)月在 TEDAI 會(huì)議上表示，更先進(jìn)的模型可能在財(cái)務(wù)上變得不可行。
“畢竟，我們真的要訓(xùn)練成本高達(dá)數(shù)千億或數(shù)萬(wàn)億美元的模型嗎？”布朗說(shuō)。“在某個(gè)時(shí)刻，Scaling Law 就會(huì)崩潰。”
OpenAI 尚未完成對(duì) Orion 的安全性進(jìn)行測(cè)試的漫長(zhǎng)過(guò)程，預(yù)計(jì)將在明年初發(fā)布 Orion。員工表示，當(dāng) OpenAI 發(fā)布 Orion 時(shí)，它可能會(huì)偏離傳統(tǒng)的旗艦?zāi)Ｐ汀癎PT”命名慣例，進(jìn)一步強(qiáng)調(diào)LLM改進(jìn)的變化性質(zhì)。（OpenAI 發(fā)言人未對(duì)此作出公開(kāi)評(píng)論。）
撞上數(shù)據(jù)壁壘
OpenAI 的員工和研究人員表示,GPT 減速的一個(gè)原因是高質(zhì)量文本和其他數(shù)據(jù)的供應(yīng)減少，這些數(shù)據(jù)是 LLMs 在預(yù)訓(xùn)練期間可以處理的，以理解世界和不同概念之間的關(guān)系，從而解決諸如撰寫(xiě)博客文章或解決編碼錯(cuò)誤等問(wèn)題。
在過(guò)去的幾年中，LLMs 使用公開(kāi)可用的文本和來(lái)自網(wǎng)站、書(shū)籍及其他來(lái)源的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練過(guò)程，但這些人表示，模型的開(kāi)發(fā)者在很大程度上已經(jīng)從這種類(lèi)型的數(shù)據(jù)中榨取了盡可能多的內(nèi)容。
作為回應(yīng)，OpenAI 創(chuàng)建了一個(gè)基礎(chǔ)團(tuán)隊(duì)，由之前負(fù)責(zé)預(yù)訓(xùn)練的 Nick Ryder 領(lǐng)導(dǎo)，旨在找出如何應(yīng)對(duì)訓(xùn)練數(shù)據(jù)的匱乏以及擴(kuò)展法則將持續(xù)適用多久，他們表示。
根據(jù)一位 OpenAI 員工的說(shuō)法，Orion 部分是基于其他 OpenAI 模型生成的 AI 數(shù)據(jù)進(jìn)行訓(xùn)練的，包括 GPT-4 和最近發(fā)布的推理模型。然而，這種被稱(chēng)為合成數(shù)據(jù)的東西，正在導(dǎo)致一個(gè)新問(wèn)題，即 Orion 在某些方面可能會(huì)與那些舊模型相似，這位員工表示。
“我們以相同的速度增加[用于訓(xùn)練人工智能的 GPU 數(shù)量]，但我們根本沒(méi)有獲得智能上的提升，”風(fēng)險(xiǎn)投資家本霍洛維茨說(shuō)。
OpenAI 研究人員正在利用其他工具來(lái)改善 LLMs 在后訓(xùn)練過(guò)程中的表現(xiàn)，提升它們處理特定任務(wù)的能力。研究人員通過(guò)讓模型從大量已正確解決的問(wèn)題（例如數(shù)學(xué)或編程問(wèn)題）中學(xué)習(xí)，來(lái)實(shí)現(xiàn)這一點(diǎn)，這一過(guò)程被稱(chēng)為強(qiáng)化學(xué)習(xí)。
他們還要求人類(lèi)評(píng)估者在特定的編碼或問(wèn)題解決任務(wù)上測(cè)試預(yù)訓(xùn)練模型并對(duì)答案進(jìn)行評(píng)分，這幫助研究人員調(diào)整模型，以改善它們對(duì)某些類(lèi)型請(qǐng)求的回答，例如寫(xiě)作或編碼。這個(gè)過(guò)程被稱(chēng)為帶有人類(lèi)反饋的強(qiáng)化學(xué)習(xí)，也幫助了較早的人工智能模型。
為了處理這些評(píng)估，OpenAI 和其他人工智能開(kāi)發(fā)者通常依賴(lài)于像 Scale AI 和 Turing 這樣的初創(chuàng)公司來(lái)管理數(shù)千名承包商。
在 OpenAI 的案例中，研究人員還開(kāi)發(fā)了一種推理模型，名為 o1，它在給出答案之前需要更多時(shí)間“思考”LLM訓(xùn)練的數(shù)據(jù)，這個(gè)概念被稱(chēng)為測(cè)試時(shí)計(jì)算。
這意味著，當(dāng)模型在回答用戶(hù)問(wèn)題時(shí)提供額外的計(jì)算資源時(shí)，o1 的響應(yīng)質(zhì)量可以繼續(xù)提高，即使不對(duì)基礎(chǔ)模型進(jìn)行更改。而且，如果 OpenAI 能夠繼續(xù)改善基礎(chǔ)模型的質(zhì)量，即使速度較慢，也會(huì)導(dǎo)致更好的推理結(jié)果，一位了解該過(guò)程的人士表示。
“這為擴(kuò)展打開(kāi)了一個(gè)全新的維度，”布朗在 TEDAI 會(huì)議上說(shuō)。研究人員可以通過(guò)“將每個(gè)查詢(xún)的花費(fèi)從一分錢(qián)提高到十分錢(qián)”來(lái)改善模型的響應(yīng)，他說(shuō)。
奧特曼也強(qiáng)調(diào)了 OpenAI 推理模型的重要性，這些模型可以與LLMs結(jié)合。
“我希望推理能夠解我們等待多年的許多事情像這樣的模型能夠，例如，貢獻(xiàn)新的科學(xué)，幫助編寫(xiě)更多非常復(fù)雜的代碼，”奧特曼在十月的一個(gè)應(yīng)用程序開(kāi)發(fā)者活動(dòng)中說(shuō)道。
在最近與 Y Combinator 首席執(zhí)行官 Garry Tan 的采訪(fǎng)中，Altman 表示：“我們基本上知道該做什么”以實(shí)現(xiàn)人工通用智能與人類(lèi)能力相當(dāng)?shù)募夹g(shù)其中一部分涉及“以創(chuàng)造性的方式使用當(dāng)前模型�！�
數(shù)學(xué)家和其他科學(xué)家表示，o1 對(duì)他們的工作有益，充當(dāng)了一個(gè)可以提供反饋或想法的伙伴。但該模型的價(jià)格目前是非推理模型的六倍，因此它沒(méi)有廣泛的客戶(hù)基礎(chǔ)，兩名了解情況的員工表示。
突破漸近線(xiàn)
一些向人工智能開(kāi)發(fā)者投入數(shù)千萬(wàn)美元的投資者開(kāi)始懷疑，LLMs 的改進(jìn)速度是否開(kāi)始趨于平穩(wěn)。
本霍洛維茨，他的風(fēng)險(xiǎn)投資公司既是 OpenAI 的股東，也是 Mistral 和 Safe Superintelligence 等競(jìng)爭(zhēng)對(duì)手的直接投資者，在一段 YouTube 視頻中表示：“我們以相同的速度增加[用于訓(xùn)練 AI 的圖形處理單元的數(shù)量]，但我們根本沒(méi)有獲得智能上的提升。”（他沒(méi)有詳細(xì)說(shuō)明。）
霍洛維茨的同事馬克安德森在同一視頻中表示，有“很多聰明的人在努力突破漸近線(xiàn)，弄清楚如何達(dá)到更高的推理能力。”
Ion Stoica 說(shuō)，企業(yè)軟件公司 Databricks 的聯(lián)合創(chuàng)始人兼主席，以及一個(gè)允許應(yīng)用程序開(kāi)發(fā)者評(píng)估不同 LLMs 的網(wǎng)站的共同開(kāi)發(fā)者，表示 LLMs 的性能在某些方面可能已經(jīng)達(dá)到了瓶頸，但在其他方面則沒(méi)有。
斯托伊卡說(shuō)，盡管人工智能在編碼和解決復(fù)雜的多步驟問(wèn)題等任務(wù)上持續(xù)改進(jìn)，但在人工智能模型執(zhí)行一般性任務(wù)的能力上，如分析一段文本的情感或描述醫(yī)療問(wèn)題的癥狀，進(jìn)展似乎已經(jīng)放緩。
“對(duì)于一般知識(shí)問(wèn)題，你可以說(shuō)目前我們看到LLMs的表現(xiàn)處于一個(gè)平臺(tái)期。我們需要[更多]事實(shí)數(shù)據(jù)，而合成數(shù)據(jù)并沒(méi)有太大幫助，”他說(shuō)。本文翻譯自：The Information,https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows?rc=pbvtni編譯：ChatGPT
