機(jī)器之心報(bào)道
機(jī)器之心編輯部
眼下 OpenAI 面臨的最大問題是「缺芯」。
從 ChatGPT 問世以來，大模型和 AI 技術(shù)就引起全世界的廣泛關(guān)注。一方面，人們驚嘆于大模型的涌現(xiàn)能力，另一方面又對(duì)人工智能的可控性及未來發(fā)展產(chǎn)生擔(dān)憂。今年已有包括圖靈獎(jiǎng)得主 Geoffrey Hinton、Yoshua Bengio 在內(nèi)的 AI 領(lǐng)域?qū)＜业缺姸鄻I(yè)內(nèi)人士多次聯(lián)合警告 AI 大模型將引發(fā)一系列風(fēng)險(xiǎn)，甚至有人呼吁叫停 GPT-4 后續(xù) AI 大模型的研發(fā)。
OpenAI 作為 ChatGPT、GPT-4 等大模型背后的公司，無疑被推上了風(fēng)口浪尖。OpenAI 的 CEO Sam Altman 近期正在全球巡回演講，旨在消除人們對(duì)人工智能的「恐懼」，并聽取 OpenAI 產(chǎn)品的開發(fā)人員和用戶的意見。
據(jù)《Fortune》報(bào)道，5 月 Sam Altman 與一些開發(fā)人員和初創(chuàng)公司創(chuàng)始人閉門會(huì)面，并講述了 OpenAI 的路線圖和面臨的挑戰(zhàn)。這場(chǎng)閉門會(huì)的參與者之一 Humanloop 的聯(lián)合創(chuàng)始人兼 CEO Raza Habib 最近在一篇博客中提及了 OpenAI 的產(chǎn)品規(guī)劃和發(fā)展瓶頸。
原博客現(xiàn)已刪除，但有網(wǎng)友上傳了博客快照（副本），我們來看一下博客的具體內(nèi)容：
OpenAI 現(xiàn)在面臨的最大問題是受限于 GPU
目前 OpenAI 面臨非常嚴(yán)峻的 GPU 限制，這也延遲了他們一些短期計(jì)劃的實(shí)施。近來，客戶投訴最多的是關(guān)于 API 的可靠性和速度問題。Sam 承認(rèn)了這個(gè)問題，并解釋說客戶抱怨的大部分問題是由于 GPU 短缺造成的。
在處理文本方面，更長(zhǎng)的 32k 上下文還不能面向更多人推出�，F(xiàn)在 OpenAI 還沒有完全克服注意力機(jī)制的 O (n^2) 擴(kuò)展問題，雖然 OpenAI 似乎很快就能實(shí)現(xiàn) 100k-1M token 上下文窗口（在今年內(nèi)）文本處理，但更大的文本處理窗口需要進(jìn)一步的研究突破。
不僅如此，目前，微調(diào) API 也受到 GPU 供應(yīng)的限制。OpenAI 尚未使用像 Adapters 或 LoRa 這樣的高效微調(diào)方法，因此微調(diào)運(yùn)行和管理起來計(jì)算都非常密集。Sam 透漏更好的微調(diào)技術(shù)將在未來推出，他們甚至可能提供一個(gè)社區(qū)專門研究模型。
此外，專用容量提供也受到 GPU 供應(yīng)的限制。OpenAI 還提供專用容量，為客戶提供一個(gè)私有的模型副本。要使用此服務(wù)，客戶必須愿意預(yù)先承諾支出 10 萬美元。
OpenAI 的近期路線圖
在交談中，Sam 分享了 OpenAI API 的近期路線圖，主要分兩個(gè)階段：
2023 的路線：
OpenAI 的首要任務(wù)是推出更便宜、更快的 GPT-4 總的來說，OpenAI 的目標(biāo)是盡可能地降低智能成本（the cost of intelligence），因此隨著時(shí)間的推移，API 的成本將會(huì)降低。
更長(zhǎng)的上下文窗口 在不久的將來，上下文窗口可能高達(dá) 100 萬個(gè) token。
微調(diào) API 微調(diào) API 將擴(kuò)展到最新的模型，但其確切形式將由開發(fā)人員決定。
狀態(tài) API 現(xiàn)在調(diào)用聊天 API 時(shí)，你必須反復(fù)地通過相同的會(huì)話歷史，并一次又一次地為相同的 toke 進(jìn)行支付。將來版本的 API 可以記住會(huì)話歷史記錄。
2024 年路線：
多模態(tài) 這是作為 GPT-4 版本的一部分進(jìn)行演示的，但在更多 GPU 上線之前不能擴(kuò)展到所有人。
插件沒有 PMF，也不會(huì)很快出現(xiàn)在 API 中
很多開發(fā)人員都對(duì)通過 API 訪問 ChatGPT 插件感興趣，但 Sam 說他認(rèn)為這些插件短期內(nèi)不會(huì)發(fā)布。除了瀏覽之外，插件的使用表明他們還沒有 PMF。Sam 指出，很多人希望自己的應(yīng)用程序位于 ChatGPT 之內(nèi)，但他們真正想要的是應(yīng)用程序中的 ChatGPT。
除了與類 ChatGPT 競(jìng)爭(zhēng)外，OpenAI 將避免與其客戶競(jìng)爭(zhēng)
很多開發(fā)者表示，當(dāng) OpenAI 發(fā)布新產(chǎn)品時(shí)，他們對(duì)使用 OpenAI API 構(gòu)建的應(yīng)用程序感到緊張，因?yàn)?OpenAI 最終可能會(huì)發(fā)布與他們競(jìng)爭(zhēng)的產(chǎn)品。Sam 表示 OpenAI 不會(huì)發(fā)布 ChatGPT 之外更多的產(chǎn)品。他說有很多偉大的平臺(tái)公司都有一個(gè)殺手級(jí)的應(yīng)用程序，ChatGPT 將允許他們通過成為自己產(chǎn)品的客戶來使 API 更好。ChatGPT 的愿景是成為一個(gè)超級(jí)智能的工作助手，但 OpenAI 不會(huì)涉足許多其他 GPT 的用例。
監(jiān)管是必要的，但開源也是必要的
盡管 Sam 主張對(duì)未來的模型進(jìn)行監(jiān)管，但他并不認(rèn)為現(xiàn)有的模型存在危險(xiǎn)，并認(rèn)為對(duì)它們進(jìn)行監(jiān)管或禁止將是一個(gè)巨大的錯(cuò)誤。他再次強(qiáng)調(diào)了開源的重要性，并表示 OpenAI 正在考慮開源 GPT-3。OpenAI 之所以遲遲未能開源的部分原是因?yàn)樗麄冇X得沒多少人和公司有能力妥善管理如此大型的語言模型。
擴(kuò)展定律仍然存在
最近許多文章都聲稱「巨型人工智能模型的時(shí)代已經(jīng)結(jié)束」。Sam 表示這并沒有準(zhǔn)確地表達(dá)他的意思。
OpenAI 的內(nèi)部數(shù)據(jù)顯示，擴(kuò)展定律仍然成立，而且增大模型的規(guī)模將繼續(xù)提高性能。然而，模型的規(guī)模無法一直按照相同的比例增加，因?yàn)樵诙潭處啄陜?nèi)，OpenAI 已經(jīng)使模型規(guī)模增大了數(shù)百萬倍，繼續(xù)這樣做將不可持續(xù)。但這并不意味著 OpenAI 將停止努力使模型變得更大，而是意味著它們可能每年增加一倍或三倍的規(guī)模，而不是呈幾個(gè)數(shù)量級(jí)的增長(zhǎng)。
擴(kuò)展模型仍然有效，這一事實(shí)對(duì) AGI 的發(fā)展具有重要意義。擴(kuò)展規(guī)模的理念是，我們可能已經(jīng)有構(gòu)建 AGI 所需的大部分要素，而剩下的大部分工作將采用現(xiàn)有的方法，并將它們擴(kuò)展到更大的模型和更大的數(shù)據(jù)集上。如果模型擴(kuò)展時(shí)代已經(jīng)結(jié)束，我們到達(dá) AGI 的時(shí)間將會(huì)更久。擴(kuò)展定律仍然適用的事實(shí)暗示著我們會(huì)用更短的時(shí)間實(shí)現(xiàn) AGI。
參考鏈接：
https://web.archive.org/web/20230601000258/https://website-nm4keew22-humanloopml.vercel.app/blog/openai-plans
