編輯｜鄭玄
我們被倡導(dǎo)要想明白自己的目標(biāo)是什么、并做出計(jì)劃。然而，兩位人工智能研究者卻認(rèn)為，這只適用于普通的小愿望。
一旦涉及過(guò)于高遠(yuǎn)的、不確定能否實(shí)現(xiàn)的目標(biāo)，比如打造AGI（通用人工智能）、登月計(jì)劃等等那么根據(jù)興趣進(jìn)行自由的、開放性的探索，才更能實(shí)現(xiàn)想要的。他們把這一觀點(diǎn)寫成了《為什么偉大不能被計(jì)劃》一書。
在這本書出版的2015年，OpenAI成立，它一開始就確定了實(shí)現(xiàn)AGI的目標(biāo)。九年間，OpenAI取得的巨大成功，似乎證明了人工智能界是一掣目標(biāo)導(dǎo)向者」的勝利。「OpenAI看似是目標(biāo)導(dǎo)向的，但實(shí)際上在內(nèi)部，它有很多有趣的、開放性的探索。」本書作者之一肯尼斯斯坦利(Kenneth Stanley) 告訴極客公園。
2015年，他任美國(guó)中佛羅里達(dá)大學(xué)計(jì)算機(jī)科學(xué)系助理教授，和前博士生喬爾雷曼（JoelLehman）一起合著了該書。第二年，他們進(jìn)入產(chǎn)業(yè)界，加入U(xiǎn)ber AI團(tuán)隊(duì)。2020年，他們又一起加入了OpenAI，肯尼斯擔(dān)任OpenAI「開放性研究團(tuán)隊(duì)」負(fù)責(zé)人。
OpenAI的CEO Sam Altman是他們這本書的推崇者。他曾在一個(gè)公開場(chǎng)合提到，OpenAI訓(xùn)練模型時(shí)會(huì)設(shè)定指標(biāo)，指標(biāo)的上升讓人開心，「但對(duì)于找出一個(gè)新的研究范式，就不起作用了」。受書中觀點(diǎn)啟發(fā)，他愿意嘗試更多新奇性探索，「我們?cè)敢饽托牡却龜?shù)月、數(shù)年，大多數(shù)時(shí)候它（探索）并不起作用，但當(dāng)它起作用的時(shí)候、效果驚人地好�！�
加入內(nèi)部，肯尼斯和喬爾看到開放性探索如何塑造了OpenAI的成功。例如ChatGPT本是一個(gè)意料之外的項(xiàng)目，它曾是內(nèi)部幾大方向中最邊緣的；碰巧撞上了谷歌的Transformer架構(gòu)；而Dario Amodei（前OpenAI研發(fā)副總裁、現(xiàn)Anthropic CEO）提出Scaling Law（縮放定律）是為了測(cè)試模型安全性、而非涌現(xiàn)智能等等。
隨著2022年底GPT-3.5發(fā)布，全球人工智能行業(yè)開啟了激烈競(jìng)賽。在二人看來(lái)，AGI仍然是一個(gè)遙遠(yuǎn)的、而非近在咫尺的目標(biāo)，僅靠Scaling Law 這個(gè)「踏腳石」還不夠。在這種情況下，開放性探索非常重要而目前行業(yè)極具收斂的目標(biāo)和計(jì)劃、以及激烈的競(jìng)爭(zhēng)，反而可能讓研究走進(jìn)「死胡同」。
即便OpenAI也面臨挑戰(zhàn)，喬爾感覺到，一種緊張的氛圍開始在內(nèi)部出現(xiàn)，開放性探索的空間也在縮窄。2022年，他們離開了OpenAI。隨著人工智能越來(lái)越強(qiáng)大，他們希望更多研究一些開放性命題，比如AI會(huì)如何影響人類和社會(huì)、如何從哲學(xué)角度看待AI等等。
目前，喬爾加入了一家研究虛擬生命的公司，而肯尼斯創(chuàng)辦了基于開放性系統(tǒng)的社交網(wǎng)絡(luò)Maven、并獲得了Sam Altman的投資。他們都在開放性探索的路上繼續(xù)前進(jìn)著。
以下為極客公園與肯尼斯、喬爾的對(duì)話實(shí)錄，經(jīng)整理后發(fā)布：
《為什么偉大不能被計(jì)劃》一書的英文版 | 圖片來(lái)源：受訪者
OpenAI看似是「目標(biāo)導(dǎo)向型」的成功，實(shí)則是「開放性探索」的成功
極客公園：先從這本書的起源聊起，我很好奇你們十年前是怎么想到提出「為什么偉大不能被計(jì)劃」這個(gè)觀點(diǎn)的？你們最早研究人工智能的「開放性系統(tǒng)」，做了圖片孵化器、機(jī)器人迷宮等實(shí)驗(yàn)，好奇哪些事實(shí)讓你們覺得這個(gè)觀點(diǎn)是成立的、并且可以應(yīng)用到除了人工智能以外的其他領(lǐng)域？
Kenneth：最初的想法來(lái)自于人工智能領(lǐng)域的研究，也就是我們所說(shuō)的「開放性系統(tǒng)」（Open-Endedness）。這種系統(tǒng)早已存在，比如生物的演進(jìn)，在幾十億年中，從單細(xì)胞進(jìn)化為各種各樣的動(dòng)物。又比如簡(jiǎn)單的發(fā)明創(chuàng)造，我們可能花了數(shù)千年，才創(chuàng)造了一個(gè)輪胎、空間站和計(jì)算機(jī)等等。
作為歷史學(xué)家和計(jì)算機(jī)科學(xué)家，我們希望用算法打造一個(gè)「開放性系統(tǒng)」，想了解它的工作原理，怎么不斷創(chuàng)新、產(chǎn)生非常有趣的東西。所以我們做了「圖片孵化器」網(wǎng)站。這個(gè) AI 系統(tǒng)沒有任何目標(biāo)，人們隨機(jī)在上面將不同圖片進(jìn)行「繁殖」，這些圖片會(huì)構(gòu)成類似生物學(xué)「分支樹」的關(guān)系。
雖然每個(gè)用戶都是從亂涂亂畫開始的，但漸漸我們看到了一些熟悉的、可辨認(rèn)的圖片，比如蝴蝶、頭顱、行星、汽車等等。我們進(jìn)而得出一些有意思的洞察，比如你孵化出了一張酷似車的圖片，但你最初并不是以此為目標(biāo)的。而如果你以此為目標(biāo)，你根本得不出這張照片。這是矛盾之處。遵循這樣的原則，我們提出了基于新奇性探索、而非目標(biāo)驅(qū)動(dòng)的搜索算法。
最后我們發(fā)現(xiàn)，這不僅適用于算法領(lǐng)域，也適用于個(gè)人和機(jī)構(gòu)。每一個(gè)個(gè)人和機(jī)構(gòu)都會(huì)設(shè)定目標(biāo)，但這種目標(biāo)驅(qū)動(dòng)并不總是對(duì)我們的創(chuàng)造和發(fā)明奏效。Joel和我覺得這個(gè)過(guò)程非常重要，值得公開說(shuō)出來(lái)。我們?cè)噲D找到相關(guān)信息、并進(jìn)行多次對(duì)話，這就是我們這本書想法的來(lái)源。
極客公園：可否理解為這本書的核心觀點(diǎn)是，無(wú)論在算法、個(gè)人還是組織層面，面對(duì)一個(gè)更遙遠(yuǎn)的目標(biāo)，制定計(jì)劃不如自由探索有效？
Joel：一般來(lái)說(shuō)，普通的做法是我們樹立一個(gè)目標(biāo)、制定計(jì)劃。但我們是不制定目標(biāo)、只是去探索新奇的東西。比如迷宮里的機(jī)器人，如果給它制定走出迷宮的目標(biāo)，那它可能很難走出這個(gè)死胡同。但如果不告訴它去哪里、而是讓它自由探索，它會(huì)更容易走出迷宮。
肯尼斯和喬爾做的「圖片孵化器」網(wǎng)站，從亂涂亂畫中出現(xiàn)了一些熟悉的、可辨認(rèn)的圖片 | 圖片來(lái)源：受訪者
極客公園：我注意到，在你們剛出完這本書不久的2015 年，OpenAI 成立了。這家公司從創(chuàng)立起就確定了一個(gè)非常偉大的目標(biāo)，那就是實(shí)現(xiàn)AGI，它的每個(gè)步驟都是圍繞這個(gè)目標(biāo)進(jìn)行。今天我們看到，OpenAI似乎取得了成功。所以我想問，在你們這本書出版后的十年里，OpenAI的故事是否反而證明了「目的驅(qū)動(dòng)模式」的成功？
Kenneth：非常好的問題。我認(rèn)為非常重要的一點(diǎn)就是要注意到，OpenAI雖然取得了一定的進(jìn)展，但還沒有取得AGI的成功。另外，我們也要意識(shí)到，公司往往會(huì)向公眾講述目標(biāo)，但這其實(shí)是它們一種敘述的手段，這并不意味著企業(yè)內(nèi)部就是這么推動(dòng)工作的。
如果你去看OpenAI的幕后，你會(huì)發(fā)現(xiàn)它們不僅僅是目標(biāo)導(dǎo)向的，它們也有很多有趣的、開放性的探索。實(shí)際上，ChatGPT就是這樣一種開放性探索，它是在一個(gè)意料之外的項(xiàng)目。我并不認(rèn)為OpenAI的工作人員最早就設(shè)立了要做ChatGPT這個(gè)項(xiàng)目（的目標(biāo)），或者說(shuō)預(yù)見到了它能取得如此巨大的成功。它們只是在探索過(guò)程中發(fā)現(xiàn)這個(gè)項(xiàng)目非常有意思，然后一步步更新迭代才有了今天的ChatGPT。
我們書中也提到過(guò)，創(chuàng)新究竟該如何推進(jìn)呢？其實(shí)就是我們從有趣的一些想法開始，那究竟它是否會(huì)將我們引導(dǎo)向最終 AGI 的成功呢？其實(shí)這并不一定，但這是非常重要的一步，它們最終都有可能帶來(lái)革命性的變化。
另外，它也能實(shí)現(xiàn)其他一些重要的成就，比如吸引更多的投資。我們知道GPT-2并沒有帶來(lái)巨大的革命性變化，但我們?nèi)匀灰M可能地宣傳，才能吸引更多投資來(lái)發(fā)展GPT-3、GPT-4，并最終向AGI的目標(biāo)前進(jìn)。OpenAI就是這么做的，這正體現(xiàn)了我們書中的觀點(diǎn)。
Joel：OpenAI看上去是一個(gè)目標(biāo)導(dǎo)向型的成功，但其實(shí)OpenAI剛成立的時(shí)候，內(nèi)部有嘗試很多不同的發(fā)展方向。比如當(dāng)時(shí)他們非常看重強(qiáng)化學(xué)習(xí)，包括視頻、游戲的強(qiáng)化學(xué)習(xí)，為此內(nèi)部做了很多嘗試。
而且GPT背后的核心技術(shù)是Transformer架構(gòu)，這是由谷歌推出的，所以O(shè)penAI也是在谷歌這樣的巨人的肩膀上不斷發(fā)展的。如果回顧10年前、20年前、30年前、40年前，沒有這么多「踏腳石」的情況下，OpenAI也不可能取得這樣的成功。
極客公園：你們定義了OpenAI看似是目標(biāo)導(dǎo)向、但其實(shí)是自由探索式的成功。OpenAI內(nèi)部人士曾跟我們說(shuō)，鋪墊GPT 3.5 的幾個(gè)「踏腳石」都是隨機(jī)碰撞出來(lái)的，比如聊天機(jī)器人曾是內(nèi)部最邊緣的項(xiàng)目、碰巧撞上了谷歌的Transformer架構(gòu)、而Dario提出Scaling Law也不是為了智能涌現(xiàn)而是想測(cè)試模型是否安全……這是否跟你們了解的情況接近？
Joel：是的，這些隨機(jī)探索的確是非常重要的。尤其是OpenAI，它很早就開始推進(jìn) Scaling Law等嘗試，并且不斷在做選擇，這是非常正確的。
Kenneth：的確探索很多時(shí)候是隨機(jī)的、根據(jù)興趣進(jìn)行的。但Dario提出Scaling Law，這不僅是一個(gè)隨機(jī)的探索、這其實(shí)也是一個(gè)目標(biāo)導(dǎo)向性的做法。
這背后是團(tuán)隊(duì)從自己的興趣出發(fā)、做了很多嘗試，想要找到解決方案，最終提出了Scaling Law這個(gè)解決方案。這某種意義上也是一種目標(biāo)導(dǎo)向。
極客公園：所以開放探索和目標(biāo)驅(qū)動(dòng)并不是彼此對(duì)立的，而是可以統(tǒng)一和融合的？
Kenneth：的確兩者是可以并存的，能夠從一方轉(zhuǎn)向另一方。但是在我看來(lái)，這其實(shí)也是一個(gè)非常困難的問題。什么時(shí)候該進(jìn)行轉(zhuǎn)向？什么時(shí)候是目標(biāo)導(dǎo)向、什么時(shí)候是興趣導(dǎo)向？這非常微妙，很難去找到最佳的轉(zhuǎn)變時(shí)機(jī)。
極客公園：你們能夠看到 OpenAI的內(nèi)核其實(shí)是一個(gè)「開放性探索」的組織，這是當(dāng)初吸引你們加入OpenAI的重要原因嗎？
Joel：哈哈，有許多原因。一個(gè)最主要的當(dāng)然因?yàn)镺penAI是AI領(lǐng)域的前沿公司。另外，它的確一開始就是一家「開放性探索」的公司，雖然它們肯定有一些目標(biāo)導(dǎo)向的元素存在。這與我的個(gè)人興趣也是相關(guān)的。所以確實(shí)很難拒絕這樣一份工作。
極客公園：那么Sam有看過(guò)你們這本書嗎、他是否認(rèn)同你們提出的「開放性探索」觀點(diǎn)？這是他招募你們進(jìn)入OpenAI的原因嗎？
Kenneth：Sam 非常喜歡我們書中的想法，我相信他是在觀看了我關(guān)于這本書的演講時(shí)接觸到這些想法的。他曾在公眾場(chǎng)合提到，他受到了這本書的一些想法的影響。Sam 對(duì)這些想法是非常包容和開放的，我覺得他暴露在這些想法當(dāng)中、他認(rèn)為這些想法非常有意思。
當(dāng)然，我在OpenAI也不僅僅是因?yàn)镾am，內(nèi)部很多人都有開放的想法。比如Jeff Clune（前OpenAI研究團(tuán)隊(duì)負(fù)責(zé)人），他在我們之前加入OpenAI。他也覺得，開放性探索是一個(gè)有趣且值得投資的領(lǐng)域。我們?cè)谀莻�(gè)時(shí)候達(dá)成了共識(shí)，所以我們被雇傭了。
在我看來(lái)，這本書并不是OpenAI的工具書。但我相信，這一文化確實(shí)對(duì)他們有影響，開放性探索是非常重要的。
極客公園：Ken當(dāng)時(shí)是OpenAI「開放性探索」團(tuán)隊(duì)的負(fù)責(zé)人，當(dāng)時(shí)OpenAI對(duì)你們的期待是怎樣的？有給你們制定了怎樣的目標(biāo)嗎？
Kenneth：我們面臨的挑戰(zhàn)在于，幾乎任何一家公司都會(huì)感興趣設(shè)定目標(biāo)。但如果我們探索的一些想法，并不完全是目標(biāo)導(dǎo)向的、甚至?xí)畴x目標(biāo)的話，我們肯定會(huì)面臨一些溝通上的挑戰(zhàn)。這有一些復(fù)雜，因此在日常的工作中，我們需要取得一個(gè)平衡。
有時(shí)候很難理解我們來(lái)自哪里、雇傭我們干嘛。他們可能會(huì)非常奇怪，覺得我們做的是非客觀性的一些東西。不過(guò)最終他們意識(shí)到，對(duì)于推動(dòng)AGI來(lái)說(shuō)，這些工作是非常有用的。這已經(jīng)超出了傳統(tǒng)團(tuán)隊(duì)的認(rèn)識(shí)。
Joel：這里面分為兩部分：一個(gè)層面是關(guān)于組織的架構(gòu)，很多人會(huì)困惑我們的工作，所以我們要跟他們解釋我們?cè)谧鍪裁�，并找到我們工作跟AGI目標(biāo)的關(guān)聯(lián)度；另一方面是我們實(shí)際工作的開放性，要?jiǎng)?chuàng)造新的東西。
就像Ken說(shuō)的，我們需要在公司內(nèi)部找到一種開放性的方法，既要讓大家了解我們?cè)谧鍪裁�，也要新奇探索、取得進(jìn)步，這兩者的平衡是一種微妙的舞蹈。
極客公園：你們是否感受到，在「開放性探索」上，OpenAI這樣的初創(chuàng)公司可能比科技巨頭做得更好？我曾聽說(shuō)，Google雖發(fā)明了 Transformer 架構(gòu)，但沒有率先做出GPT，是因?yàn)樗募夹g(shù)路線更目標(biāo)導(dǎo)向Google更強(qiáng)調(diào) Encoder（輸入），因?yàn)樗梢越鉀Q更多具體業(yè)務(wù)問題；而 OpenAI 更強(qiáng)調(diào) Decoder（輸出），因?yàn)樗鼪]有那么強(qiáng)的業(yè)務(wù)導(dǎo)向，更愿意像無(wú)頭蒼蠅一樣做「開放性探索」，你們?cè)趺纯矗?/strong>
Joel：我的理解是谷歌也有這種對(duì)話模型，也是很領(lǐng)先的。談到好奇、興趣、技術(shù)能力、率先應(yīng)用于大眾等，我認(rèn)為其中包含了不同的變量。谷歌是一個(gè)更大的機(jī)構(gòu)，可能有更多的「橡皮章」、繁文縟節(jié)這些東西，而OpenAI可能更開放。
Kenneth：我只是想說(shuō)，涉及到任何一個(gè)大機(jī)構(gòu)的成功，都包含了很多要素。不過(guò)我有一點(diǎn)我同意，OpenAI確實(shí)在探索方面做得更好、它有更大的意愿去冒險(xiǎn)，而谷歌可能在這方面更加謹(jǐn)慎和猶豫，比如在公眾面前展示技術(shù)，谷歌可能會(huì)慢一步。
這可以理解。因?yàn)楣雀枳鳛橐粋�(gè)大公司，在發(fā)布東西之前，需要做很多嘗試和實(shí)驗(yàn)。他們更不愿意失敗，它對(duì)于風(fēng)險(xiǎn)更有顧慮。但這并不一定是確定的，只是我們的看法。
我們看到，谷歌注重強(qiáng)化學(xué)習(xí)和各種方法，OpenAI也注重強(qiáng)化學(xué)習(xí)、并在不同領(lǐng)域下注，最終它們都取得了成功。
極客公園：距離你們當(dāng)時(shí)寫這本書已經(jīng)過(guò)去快 10 年了，中間你們還加入了OpenAI、Uber等科技公司，經(jīng)歷了這些再看這本書，你們覺得書中哪些觀點(diǎn)仍歷久彌新？哪些需要變化更新？
Kenneth：回頭望，這已經(jīng)是我們這本書出版的第九年了。關(guān)于建立目標(biāo)，我們有過(guò)非常多的、激進(jìn)的爭(zhēng)論，但許多事情隨著時(shí)間的推移得到了驗(yàn)證。
正如你剛才提到的一些例子，有些人可能會(huì)認(rèn)為有些目標(biāo)是有效的。但在過(guò)去十年的時(shí)間里，我們?cè)絹?lái)越發(fā)現(xiàn)，目標(biāo)導(dǎo)向有時(shí)會(huì)讓人感到困惑，會(huì)讓你有盲點(diǎn)、抓不到其他機(jī)會(huì)、看不到更多的可能。我們認(rèn)為十年后、甚至一百年后，這個(gè)觀點(diǎn)可能都不會(huì)過(guò)時(shí)。
在每一章中，我們都引入了一些歷史案例和引語(yǔ)，比如「行者無(wú)疆」一個(gè)好的旅行者是沒有固定計(jì)劃的，他對(duì)于要到達(dá)哪里并不太清楚我不確定中國(guó)的哲學(xué)家老子是否在幾千年前提出了這種描述。這是一種哲學(xué)的觀點(diǎn)、一種經(jīng)驗(yàn)之談，并不是有很多科學(xué)證據(jù)，有時(shí)候聽上去是反直覺的、是一個(gè)離經(jīng)叛道的東西。
社會(huì)中確實(shí)有一些問題，例如，整個(gè)社會(huì)的組織都在圍繞目標(biāo)推動(dòng)，并且把「目標(biāo)是非常重要的」這種文化意識(shí)強(qiáng)加給我們。以教育為例，老師根據(jù)考試內(nèi)容教學(xué)、學(xué)生根據(jù)考試內(nèi)容學(xué)習(xí)，這就是目標(biāo)對(duì)教育的影響。在書中，我們強(qiáng)調(diào)了目標(biāo)的影響是無(wú)處不在的，我們需要去掙扎往前走。
再次強(qiáng)調(diào)一下，我們認(rèn)為「?jìng)ゴ鬅o(wú)法被計(jì)劃」這個(gè)觀點(diǎn)，是不會(huì)發(fā)生變化的。如果我們的人生只是目標(biāo)導(dǎo)向的話，將無(wú)法取得完整的幸福。這也是為什么我們這本書如此成功和受歡迎的原因。
沿著Scaling Law、卷模型性能，可能會(huì)走到「死胡同」
極客公園：雖然你們反對(duì)「目標(biāo)導(dǎo)向」，但似乎目前全球人工智能界的目標(biāo)都非常收斂且明確，一是追上OpenAI等公司、二是盡快實(shí)現(xiàn)AGI，你們?cè)趺纯催@種現(xiàn)象？這種「目標(biāo)至上」會(huì)是你們反對(duì)的嗎？
Kenneth：謝謝您的問題。我同意在目前的人工智能行業(yè)中，大家定了這兩個(gè)宏偉的目標(biāo)，覺得「北極星」就在那兒、我們要朝著那兒走。不過(guò)回到我一開始說(shuō)的，企業(yè)往往會(huì)對(duì)外有一套說(shuō)辭，但它們內(nèi)部可能并不是這樣做的。
我主要想談一談，我們到底離這樣的目標(biāo)有多遠(yuǎn)？如果說(shuō)只差一個(gè)「踏腳石」、離得非常近，就像上世紀(jì)60年代制定登月計(jì)劃的時(shí)候、已經(jīng)有很好的技術(shù)基礎(chǔ)，那么我們可以通過(guò)制定目標(biāo)去實(shí)現(xiàn)。
但問題在于，如果我們還需要很多個(gè)「墊腳石」、離目標(biāo)還很遠(yuǎn)，那設(shè)定目標(biāo)可能會(huì)讓我們陷入困境、無(wú)法前進(jìn)。歷史上有很多這樣的例子。比如在2017年，我們聽到有人說(shuō)第二年就會(huì)有自動(dòng)駕駛汽車上路，但其實(shí)不是這樣。
因此，單純采取目標(biāo)導(dǎo)向的方法往往會(huì)無(wú)法實(shí)現(xiàn)目標(biāo)，可能是因?yàn)槟繕?biāo)設(shè)定的時(shí)間太早、或者太過(guò)雄心勃勃。很多人認(rèn)為現(xiàn)在人工智能領(lǐng)域只差一個(gè)「踏腳石」，只需要擴(kuò)大規(guī)模就可以了，這其實(shí)是過(guò)于簡(jiǎn)單化了這個(gè)問題。但在我看來(lái)，真正核心的「踏腳石」還沒有被發(fā)現(xiàn)、我們并不僅僅差一個(gè)「踏腳石」。我們很可能正在陷入目標(biāo)的陷阱和迷思之中。
Joel：的確我們現(xiàn)在處于一個(gè)「荒誕」的歷史階段，全球的科技公司都在追求AGI，這種過(guò)于聚焦的目標(biāo)是人類「革命性的時(shí)刻」。但我們要知道，AGI的發(fā)展還要很長(zhǎng)的時(shí)間。
現(xiàn)在許多人認(rèn)為，只需要擴(kuò)大規(guī)模、參數(shù)，有更多的數(shù)據(jù)和算力，就可以可發(fā)展人工智能。這對(duì)我來(lái)說(shuō)有些無(wú)聊，或者說(shuō)有些無(wú)趣。這并不是最核心的「踏腳石」，我相信還有其他的路徑和方法需要我們?nèi)ヌ剿鳌?/p>
極客公園：為什么我們離AGI不只是「一步之遙」、不只差一個(gè)「踏腳石」？你們做出這個(gè)判斷的依據(jù)是什么？
Joel：我們到底距離AGI有多遠(yuǎn)，其實(shí)大家是有認(rèn)知偏差的。就像自動(dòng)駕駛一樣，并不太清楚到底需要多少個(gè)「踏腳石」。我們唯一確信的是，如果有一步之遙的東西，你必須要在那里、你必須去做、必須去放大。
Kenneth：最近有一個(gè)類比，GPT-3就像是一個(gè)孩子，GPT-4像是高中生。但實(shí)際上，ChatGPT更像是教科書中的知識(shí)，在某些方面，它可能超越了我們，而在其他方面，它可能不如我們。奇特之處在于，我們會(huì)感到某些東西非常接近了，但這不一定是AGI。
但我們也不清楚究竟還要等待多久。我們甚至可能需要一位「愛因斯坦」的出現(xiàn)，才能達(dá)到下一個(gè)臺(tái)階。
極客公園：這讓我想到你們?cè)跁锾岬�，其�?shí)從單細(xì)胞到人類的進(jìn)化過(guò)程中，重要的「踏腳石」不只是智力，還包括對(duì)稱性等。那么對(duì)于AGI 來(lái)說(shuō)，Scaling Law 帶來(lái)的智能提升會(huì)是一個(gè)靠譜的踏腳石嗎？它能支撐多久？
Kenneth：智能這個(gè)詞很容易讓人困惑，因?yàn)樗婕霸S多方面。Scaling Law遵循一些普遍的原理，但它也會(huì)喪失一些東西。比如在技術(shù)上，你必須將大量人類數(shù)據(jù)進(jìn)行更好的壓縮和訓(xùn)練，它不再是傳統(tǒng)意義上的智能、而是不斷提升的智能。我們最終可能會(huì)遇到一個(gè)瓶頸或死胡同、會(huì)在訓(xùn)練上遇到走不下去的時(shí)刻。
就像OpenAI在不斷擴(kuò)大規(guī)模、增加參數(shù)，但它還是遇到了瓶頸（注：比如GPT-5處于難產(chǎn)狀態(tài)）。這也是為什么我們需要新的踏腳石。
Joel：如果想要達(dá)到AGI那模糊的彼岸，有點(diǎn)像做一個(gè)賭注，很多明顯的路徑都必須要去嘗試。因?yàn)锳GI可能不僅來(lái)自AI，還可能來(lái)自數(shù)學(xué)、哲學(xué)和其他領(lǐng)域。
《神經(jīng)語(yǔ)模型的縮放定律》論文寫道，隨著模型、數(shù)據(jù)集和于訓(xùn)練的計(jì)算量的增加，語(yǔ)建模性能平穩(wěn)提升 | 圖片來(lái)源：OpenAI
極客公園：現(xiàn)在各大人工智能公司都在這一維度激烈競(jìng)逐，而你們?cè)跁锾岬�，�?jìng)爭(zhēng)其實(shí)跟「開放性探索」相悖、因?yàn)樗菢O其收斂的目標(biāo)。你們?cè)趺纯创F(xiàn)在人工智能領(lǐng)域的激烈競(jìng)爭(zhēng)？
Kenneth：這就是目標(biāo)導(dǎo)向的悖論，它會(huì)使得我們更加盲目，對(duì)其他方法和路徑視而不見。像OpenAI、Anthropic和Google這樣的公司，它們存在激烈競(jìng)爭(zhēng)，因?yàn)槟募胰绻浜罅�，就可能無(wú)法獲得更多資金，公司會(huì)受到生存威脅。
在這種競(jìng)爭(zhēng)中，大家唯一的目標(biāo)就是活下來(lái)。公司更傾向于繼續(xù)沿著既定路徑前進(jìn)、擴(kuò)大規(guī)模。如果這時(shí)候嘗試創(chuàng)新，會(huì)面臨失敗的風(fēng)險(xiǎn)、可能會(huì)被踢出局。所以創(chuàng)新往往會(huì)減少。我認(rèn)為在這樣的競(jìng)爭(zhēng)環(huán)境下，很容易進(jìn)入死胡同。
不過(guò)當(dāng)這些企業(yè)遇到瓶頸時(shí)，他們可能會(huì)意識(shí)到需要轉(zhuǎn)向、進(jìn)行更多開放性探索。
極客公園：這跟很多人的看法相反，一般我們認(rèn)為激烈競(jìng)爭(zhēng)會(huì)推動(dòng)模型智能水平的提升、加速AGI的實(shí)現(xiàn)，但在你們看來(lái)反而會(huì)適得其反？激烈競(jìng)爭(zhēng)會(huì)弊大于利嗎？
Kenneth：是的，這可能有些反直覺。雖然競(jìng)爭(zhēng)會(huì)引發(fā)「軍備競(jìng)賽」，使得模型性能有所提升，但過(guò)度的競(jìng)爭(zhēng)會(huì)減少開放性的嘗試，使得創(chuàng)新更加聚焦和局限、無(wú)法取得真正的進(jìn)展。
極客公園：說(shuō)了這么久的「開放性探索」，那么對(duì)于現(xiàn)在目標(biāo)和路徑已經(jīng)相對(duì)明確的人工智能企業(yè)來(lái)說(shuō)，它們應(yīng)該怎樣才能做好這件事？你們對(duì)于「開放性探索」有沒有一些建議？
Kenneth：我們會(huì)發(fā)現(xiàn)，很多公司太早就建立了一套體系，并且非常目標(biāo)導(dǎo)向。如果一些探索在測(cè)試中表現(xiàn)不佳，他們就會(huì)放棄研究。我認(rèn)為這會(huì)減少開放性探索的機(jī)會(huì)，是非常不利的。
對(duì)于AGI也是如此。當(dāng)前的Transformer架構(gòu)可能還遠(yuǎn)遠(yuǎn)不夠，甚至我們對(duì)神經(jīng)網(wǎng)絡(luò)的運(yùn)作機(jī)制還了解得不夠，目前仍有許多失敗的案例。我們并不清楚究竟還差多少步才能實(shí)現(xiàn)AGI，因此我們需要多重的、開放性的探索。
在當(dāng)前階段，對(duì)于OpenAI和其他公司來(lái)說(shuō)，它們不僅需要改善現(xiàn)有的模型、更需要探索新的路徑，這兩件事需要同步推進(jìn)。
離開OpenAI，人工智能界還需要更多「開放性探索」
極客公園：不久前Ken接受了一個(gè)采訪，提到你離開OpenAI是因?yàn)椤赣幸恍┑木趩�、有一些頓悟」，我好奇你的「沮喪」、「頓悟」是什么？方便跟我們分享一下嗎？
Kenneth：讓我想一想，我并不是說(shuō)我對(duì)OpenAI不滿意，而是我越來(lái)越意識(shí)到，我對(duì)人工智能的影響存在一些擔(dān)憂�，F(xiàn)在有很多關(guān)于人工智能消極影響、安全以及文明終結(jié)的討論，這都是很明顯的一些問題。
我越來(lái)越感覺到，社會(huì)中存在一些對(duì)人工智能的不滿情緒、人們感到越來(lái)越多的失落，大家會(huì)追問生命的意義究竟是什么？比如，未來(lái)機(jī)器人可能有數(shù)百萬(wàn)個(gè)非常好的想法，一秒之間就可以超越我們一生的成就、或者比我們個(gè)人多年的經(jīng)驗(yàn)更具智慧，那么我們?nèi)绾卧偃プ鲇袆?chuàng)意性的工作、并從中獲得成就感呢？這是一個(gè)非常嚴(yán)重的問題。
我感覺我的工作，似乎在某種程度上加劇了人們的這種擔(dān)憂和焦慮。因此，我想思考人工智能未來(lái)的發(fā)展方向、解決它深層次的問題我們究竟該如何改善人工智能，使其更好地為人類服務(wù)，促進(jìn)人類之間的連接，而不是加劇競(jìng)爭(zhēng)？
這是我最近非常關(guān)注的問題，我認(rèn)為需要進(jìn)行開放性探索，我相信這對(duì)人類社會(huì)會(huì)更有助益。基于這樣的原則，我成立了一家自己的公司，希望建立一種開放性的社交網(wǎng)絡(luò)。
極客公園：你創(chuàng)立了Maven，它是一款基于開放性探索的社交產(chǎn)品，可不可以介紹下Maven是一個(gè)怎樣的產(chǎn)品？為什么它能解決你提到的人工智能存在的問題？
Kenneth：你可能也注意到一些社交媒體存在的問題，比如信息繭房、對(duì)立觀點(diǎn)、不斷爭(zhēng)論的意識(shí)形態(tài)導(dǎo)向、甚至陰謀論等。那么這些問題從何而來(lái)呢？實(shí)際上，這是因?yàn)檫@些系統(tǒng)的質(zhì)量有問題。
幾十年前人們就曾說(shuō)過(guò)，人們會(huì)產(chǎn)生各種各樣的觀點(diǎn)和內(nèi)容，但很多內(nèi)容是負(fù)面的或不好的。而現(xiàn)在的社交媒體過(guò)于關(guān)注內(nèi)容的受歡迎程度。我們認(rèn)為這種信息分發(fā)模式需要改進(jìn)。
所以我創(chuàng)立了Maven，這是一個(gè)基于內(nèi)容質(zhì)量來(lái)推薦的「開放性系統(tǒng)」。人們打分、評(píng)價(jià)，去找到好的內(nèi)容。這種客觀的評(píng)價(jià)方式、而不是靠點(diǎn)贊排序，才能帶來(lái)更好的內(nèi)容。
極客公園：我注意到Twitter 的聯(lián)合創(chuàng)始人投資了你、Sam 也投資了你，為什么Sam會(huì)決定投資你？他對(duì)你這次創(chuàng)業(yè)有沒有提出建議？
Kenneth：Sam的確投資了我的公司。我寫完這本書之后，也想讓「開放性系統(tǒng)」被更多人使用，于是萌生了成立自己公司的想法。從職業(yè)發(fā)展的角度，Sam給了我許多建議和見解。
從孵化投資人到OpenAI的CEO，Sam自己的職業(yè)發(fā)展就是非常了不起的跨越。他給我的建議是，我們不一定要沿著一份工作、一條道路前進(jìn)，我們的職業(yè)發(fā)展也可以非常多元化。這給我很大的啟發(fā)。 極客公園：Joel 離開 OpenAI 的原因是什么呢？
Joel：主要是我的職業(yè)發(fā)展追求跟它不再完全契合。最初加入OpenAI時(shí)，這家公司還處于比較基礎(chǔ)的階段，內(nèi)部有機(jī)器人、人工智能等多個(gè)研究方向。然而，后來(lái)這家公司變得更加聚焦，我也注意到公司內(nèi)部存在一些緊張的氛圍，這對(duì)開放性探索有一定限制。
正如Ken提到的，我們需要考慮到AI對(duì)社會(huì)的影響、一些哲學(xué)問題、還有如何利用人工智能讓個(gè)人更好發(fā)展等等，這些都是很有趣的研究角度。我希望能繼續(xù)研究，而OpenAI可能并不是發(fā)展這些興趣的最佳場(chǎng)所。
離開OpenAI后，我加入了一家研究虛擬生命（artificial life）的初創(chuàng)公司，現(xiàn)在還在繼續(xù)從事開放性系統(tǒng)的研究。
極客公園：你們提到，即使是OpenAI這樣最頂尖的人工智能公司，隨著公司規(guī)模的擴(kuò)大，它在開放性探索上的投入也開始變得緊張。你們對(duì)此有什么擔(dān)憂嗎？
Kenneth：的確如此，資金的壓力還是非常明顯的，如果沒有明確的回報(bào)，管理層可能會(huì)減少開放性探索的投入。不過(guò)對(duì)于一些創(chuàng)新型的初創(chuàng)企業(yè)來(lái)說(shuō)，應(yīng)該還好。
像llya（注：OpenAI前首席科學(xué)家）剛剛離開了OpenAI，成立了自己的公司。他說(shuō)他唯一的目標(biāo)就是實(shí)現(xiàn)AGI，而且投資不是大問題。這表明即使沒有明確的回報(bào)，也能得到資金支持，許多研究人員都在進(jìn)行各式各樣有趣的探索。
關(guān)于OpenAI，有人說(shuō)它現(xiàn)在變得更加商業(yè)化，我不太確定。不過(guò)內(nèi)部肯定還有一些開放性探索的機(jī)會(huì)。因?yàn)樯虡I(yè)化并不是OpenAI的最終目標(biāo)，也不是很多OpenAI研究人員的唯一目標(biāo)。
極客公園：Sam 有跟你們聊過(guò)這方面的困惑嗎？比如隨著公司規(guī)模變大，他是否感到開放性探索更難做了？
Kenneth：這是一個(gè)非常有趣的問題。 我不太清楚Sam的腦袋里在想什么，因?yàn)樗麤]有跟我聊過(guò)這些。
極客公園：最終回到個(gè)人，你們是人工智能研究員和創(chuàng)業(yè)者、也是普通人。如果你們自己有一個(gè)看起來(lái)很遠(yuǎn)大的、又很不確定的目標(biāo)，你們會(huì)怎么實(shí)現(xiàn)它？你們對(duì)普通人有什么建議嗎？
Joel：作為一個(gè)研究者，有些東西可能是似是而非的。我們書中的一些想法并不一定直接帶來(lái)成功，有時(shí)需要我們慎重認(rèn)真的看待和廣泛閱讀。
作為個(gè)人，我認(rèn)為保持謙卑、開放探索的心態(tài)非常重要。因?yàn)閭ゴ笫遣荒鼙挥?jì)劃的，但我們可以找到偉大中的亮色。
Kenneth：作為個(gè)人，你要保持均衡。比如當(dāng)你過(guò)于專注于目標(biāo)，生活可能就沒有那么有趣。就像有人的目標(biāo)是賺錢，但如果發(fā)現(xiàn)了其他有趣的機(jī)會(huì)，即使這個(gè)機(jī)會(huì)的收入并不高、也不在主流地帶，我也建議他嘗試。
作為研究者，事實(shí)上，我想都沒想過(guò)什么東西會(huì)導(dǎo)致AGI。我相信直覺。也就是說(shuō)，我會(huì)遵循我的興趣行動(dòng)，而這會(huì)引導(dǎo)我發(fā)現(xiàn)更多的有意思的東西。看起來(lái)我離目標(biāo)更遠(yuǎn)了，但實(shí)際上，興趣才會(huì)通往最終目標(biāo)的實(shí)現(xiàn)。
