《AI未來指北》欄目由科技新聞推出，邀約全球業(yè)內(nèi)專家、創(chuàng)業(yè)者、投資人，探討AI領(lǐng)域的技術(shù)發(fā)展、商業(yè)模式、應(yīng)用場(chǎng)景、倫理及版權(quán)爭(zhēng)議。
GPT是否能帶領(lǐng)我們通向 AGI (通用人工智能）？如何評(píng)估和理解AI的能力？大模型范式下，我們?nèi)绾味x智能？這些問題，至今沒有標(biāo)準(zhǔn)的答案。大模型加上HuggingGPT、AutoGPT 一系列g(shù)enerative agents（生成式代理） 之后，給各個(gè)行業(yè)甚至整個(gè)社會(huì)帶來什么改變？
本期科技新聞聯(lián)合播客《OnBoard!》，邀請(qǐng)到硅谷徐老師、微軟亞洲研究院高級(jí)研究員譚旭和張弋、AI公司研發(fā)總監(jiān)紅博士，對(duì)以上問題進(jìn)行探討。核心觀點(diǎn)：
1Open AI內(nèi)部GPT-4模型比現(xiàn)在面向大眾公開的模型強(qiáng)大得多。Open AI為了將模型應(yīng)用到產(chǎn)品并公之于眾，給模型加進(jìn)了許多關(guān)于安全性的微調(diào)，避免做出對(duì)人類有害的行為。然而，這些微調(diào)確實(shí)也讓GPT-4在推理能力和其它各方面的指標(biāo)下降了不少。
2GPT-4已經(jīng)展現(xiàn)出了許多通用人工智能（AGI）的特征。雖然它可能還不完美，但它似乎在告訴我們，我們正在沿著正確的方向前進(jìn)，終點(diǎn)已經(jīng)可見。
3當(dāng)模型輸出一個(gè)人類認(rèn)為不夠完美的答案時(shí)，我們的反饋只是一個(gè)簡(jiǎn)單的獎(jiǎng)勵(lì)或懲罰，實(shí)際上并不夠精確。我們只是對(duì)模型進(jìn)行了懲罰，但并沒有告訴它具體哪里出錯(cuò)了，這也是研究團(tuán)隊(duì)最重要的任務(wù)之一，就是從基礎(chǔ)模型出發(fā)來解決幻覺問題。
4當(dāng)前的模型存在許多錯(cuò)誤，而這些錯(cuò)誤大多是因?yàn)樗伎嫉锰炝�，它在看到用戶打的第一句話甚至第一個(gè)詞，就開始吐出答案，并沒有經(jīng)過完整的推理過程。如果我們強(qiáng)制讓模型慢下來，它會(huì)好很多。但除非我們能夠大規(guī)模修改數(shù)據(jù)結(jié)構(gòu)，目前尚不知道如何做到這一點(diǎn)。
5在接下來的一兩年內(nèi)，全球最大的2000家公司可能會(huì)真正開始應(yīng)用GPT技術(shù)和大型模型。但無論是微調(diào)還是其它方法，都需要完整打通公司數(shù)據(jù)，以實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)和執(zhí)行，這是一項(xiàng)困難的任務(wù)。此外，合規(guī)性和法律等問題需要解決。
6對(duì)于大多數(shù)公司而言，特別是傳統(tǒng)公司來說，將GPT技術(shù)應(yīng)用到業(yè)務(wù)層面是一個(gè)相對(duì)復(fù)雜和漫長(zhǎng)的過程，需要重新構(gòu)建人工智能的業(yè)務(wù)流程，這就既需要理解人工智能，又需要理解業(yè)務(wù)流程。
7我們可以將人類智能進(jìn)行拆解，首先是大腦，語言是區(qū)別于其他動(dòng)物的關(guān)鍵能力之一，現(xiàn)在的語言模型在模擬大腦特別是語言方面的能力做得非常出色。接下來，我們需要整合視覺、聽覺、嗅覺、口腔、手和腳以及與世界的互動(dòng)。沿著這個(gè)方向發(fā)展，一定會(huì)豐富對(duì)AGI能力的體現(xiàn)。
嘉賓介紹：
●張弋，微軟亞洲研究院 高級(jí)研究員，主要研究方向?yàn)橥ㄓ萌斯ぶ悄艿奈锢�、�?shù)學(xué)
●硅谷徐老師，硅谷連續(xù)創(chuàng)業(yè)者、人工智能高管、斯坦福商學(xué)院客座講師
●譚旭，微軟亞洲研究院 高級(jí)研究員，主要研究方向?yàn)樯墒饺斯ぶ悄芗捌湓谡Z言/語音/音樂生成中的應(yīng)用
●紅博士，AI公司研發(fā)總監(jiān)，研究方向：計(jì)算機(jī)視覺、數(shù)據(jù)壓縮、通用人工智能。
●主持人：Monica，美元VC投資人，前 AWS 硅谷團(tuán)隊(duì)+AI創(chuàng)業(yè)公司打工人，M小姐研習(xí)錄 (ID: MissMStudy) 主理人
第一視角解讀微軟刷屏論文：Sparks of Artificial General Intelligence: Early experiments with GPT-4
Monica：AGI通用人工智能是近期關(guān)注度特別高的話題，關(guān)于這個(gè)話題，最近在業(yè)界有一篇非常有影響力的論文，張弋所在的微軟研究院發(fā)表了一篇150多頁的論文《Sparks of Artificial General Intelligence: Early experiments with GPT-4》（中文：《通用人工智能的火花》），對(duì) GPT-4的能力做了非常深入的研究，張弋可以給我們簡(jiǎn)單介紹一下研究背景是怎樣的？
張弋 ：我給大家介紹一下論文研究的背景，從去年的八九月份開始，微軟和OpenAI開展關(guān)于GPT-4相關(guān)合作，當(dāng)時(shí)微軟內(nèi)部大約有100到200人參與了這個(gè)秘密項(xiàng)目。我們首先拿到了內(nèi)部GPT-4模型，內(nèi)部版本的模型比現(xiàn)在面向大眾公開的模型強(qiáng)大得多。我們的論文是基于那個(gè)內(nèi)部模型進(jìn)行研究的。我也不太清楚什么時(shí)候能對(duì)外公開內(nèi)部版本的模型，但這確實(shí)是非常值得期待的事情。
至于為什么內(nèi)部模型會(huì)比外部模型強(qiáng)那么多？我們也不知道全部細(xì)節(jié)，我們只能猜測(cè)，Open AI可能為了將這個(gè)模型應(yīng)用到產(chǎn)品并公之于眾，于是給模型加進(jìn)了許多關(guān)于安全性的微調(diào)(Fine-tuning)，讓它變得更平易近人。
我認(rèn)為這些微調(diào)是必要的，它的目的是使模型變得更友好、避免做出對(duì)人類有害的行為。然而，從科學(xué)的角度來看，這些微調(diào)確實(shí)也讓GPT-4在推理能力和其它各方面的指標(biāo)下降了不少。將來，一個(gè)重要的研究方向是如何更好地align這個(gè)model，即在不損失模型其它能力的情況下改進(jìn)模型的表現(xiàn)。
Monica ：加了這些安全性的微調(diào)，模型的推理能力反而下降了，怎么理解這個(gè)現(xiàn)象？
張弋：實(shí)際上這也并不矛盾。對(duì)模型安全性的考量與它的推理能力本身的關(guān)聯(lián)性可能并不大，對(duì)于大模型來說，當(dāng)我們?cè)鰪?qiáng)它的一個(gè)能力的時(shí)候，其它能力就會(huì)變?nèi)酰貏e是不太相關(guān)的能力。你加強(qiáng)其中一個(gè)能力，另一個(gè)能力往往會(huì)受到影響。這也是學(xué)術(shù)界目前非常關(guān)注的問題之一，即如何微調(diào)模型，以達(dá)到既提升某個(gè)方面的性能，又不降低其它能力。但目前還沒有找到很好的解決方法。
回到ChatGPT本身，我們團(tuán)隊(duì)的大部分成員都是數(shù)學(xué)家，大家之前可能也研究過GPT-3，當(dāng)時(shí)我們并沒有對(duì)這個(gè)模型特別著迷，相比之下，我們覺得GPT-4看起來更加先進(jìn)。但我們不確定它是否真正代表了智能。
雖然它可以完成很多任務(wù)，但它有可能只是在網(wǎng)上看到了如何完成這些任務(wù)的方式，然后記住了。所以當(dāng)我們問它一些問題時(shí)，它可能只是背誦出答案。所以，我們也開始思考這個(gè)東西到底是否具備智能，它是否是一個(gè)更好的模型。
我們想出了一些任務(wù)，主要是通過一些簡(jiǎn)單的數(shù)學(xué)題來對(duì)模型做測(cè)試。一開始，我們存了一些非常“刁鉆”的問題，一般是那些GPT-3肯定無法回答的問題，然后我們基本全部讓GPT-4嘗試回答一遍。
令人震驚的是，GPT-4幾乎完美地解決了我們之前認(rèn)為人工智能無法解決的問題。
實(shí)際上，這些問題并不難，比如一些高中水平的組合數(shù)學(xué)題。例如，你有一個(gè)紅色的石頭，兩個(gè)藍(lán)色的石頭和三個(gè)綠色的石頭，那么你可以有多少種組合方式等等。但是對(duì)于GPT-3來說，它無法理解，比如這兩個(gè)藍(lán)色的石頭，當(dāng)你拿出來時(shí)，實(shí)際上它們是同一個(gè)石頭。它們都是藍(lán)色的，都是石頭，讓GPT理解這個(gè)事情就很困難。但是GPT-4具備常識(shí)和常識(shí)推理能力，我們幾乎不需要對(duì)Prompt做太多調(diào)整，GPT-4似乎直接就能正確地回答這個(gè)問題。
類似的例子還有很多，我們內(nèi)部對(duì)此也有不同看法。有些人認(rèn)為這可能是GPT在網(wǎng)上遇到過類似問題，而另一些人則認(rèn)為網(wǎng)上肯定沒有這樣的問題。后來我們開始越來越多地思考在網(wǎng)上不太可能存在、但可以被解決的奇怪問題，只要模型的推理能力足夠強(qiáng)。
后來我們發(fā)現(xiàn)這個(gè)模型基本上解決了所有問題，最后大家一致同意這個(gè)東西確實(shí)很厲害，可以說它具備智能。那它到底是否是通用人工智能（AGI）呢？
這個(gè)問題值得商榷，因?yàn)楝F(xiàn)在學(xué)術(shù)界對(duì)于 AGI 這個(gè)詞有些敏感，一般不太能提。但是如果我們從字面上來理解，AGI（Artificial general intelligence）確實(shí)是人工智能，而且是非常強(qiáng)大的。我們拿到的GPT-4版本只是一個(gè)文字版，后來OpenAI在他們的報(bào)告中提到，他們的GPT-4可以處理圖像輸入，但我們所使用的只是純文字版。然而，我們發(fā)現(xiàn)純文字版的GPT-4竟然能夠“看見”，也就是說，如果你讓它畫一個(gè)東西，它并不一定畫得很完美，但它可以畫出來。
特別是如果要求它在某些地方加上細(xì)節(jié)，比如一個(gè)著名的例子是，讓它畫一只Unicorn（獨(dú)角獸），小朋友很喜歡。它實(shí)際上畫出來了，這讓我們非常震驚。
GPT-4從來沒有親眼見過獨(dú)角獸，它可能讀到過獨(dú)角獸的描述，可能讀到過類似的學(xué)術(shù)代碼，然后它就可以嘗試著畫出來。但我們還不滿意，所以我們稍作修改，去掉了畫頭和畫角的代碼部分，然后讓它把頭上的角重新加回去，這是為了測(cè)試這個(gè)模型是否真正理解它正在畫什么，是否真正理解獨(dú)角獸應(yīng)該有一只角，而且這只角應(yīng)該長(zhǎng)在頭上，否則它只是一條蟒蛇。
結(jié)果發(fā)現(xiàn)，GPT-4完全知道它在做什么。它不僅僅畫出了這個(gè)東西，而且完全理解我每一行代碼、每一個(gè)畫的部分代表著什么。
Monica：Open AI在GPT-4那篇論文中也提到讓GPT-4解讀圖片一類的測(cè)試，在你們獲得到的GPT版本上有測(cè)試過嗎？
張弋 ：有，但形式是不一樣的，但是你沒辦法把圖輸入給它，可以通過代碼生成圖像或使用字符來解讀圖像。對(duì)于一些像用字符畫描繪的藝術(shù)品，它也可以讀，雖然它的準(zhǔn)確率可能不是很高，但至少能夠理解一些幾何關(guān)系和視覺概念。
這確實(shí)令人震驚，因?yàn)樗故玖藢?duì)不同領(lǐng)域的理解和應(yīng)用能力。這也符合AGI的定義，它是一種人工的通用智能，能夠處理圖片、文本、音樂，甚至能夠理解人類的情感和心理。它在許多方面都表現(xiàn)得非常出色。
AGI是否智能取決于我們對(duì)智能的定義。這個(gè)定義一直以來都很模糊，甚至在哲學(xué)家和研究人工智能領(lǐng)域的專家之中也一直存在爭(zhēng)議。但現(xiàn)在，我們有了一個(gè)實(shí)際可用的模型，每天都能與之互動(dòng)，它展示出了高級(jí)推理能力，與人類非常相似。我們需要認(rèn)真思考如何定義智能。
我們認(rèn)為這個(gè)模型已經(jīng)展現(xiàn)出了許多AGI的特征。雖然它可能還不完美，但它似乎在告訴我們，我們正在沿著正確的方向前進(jìn)，終點(diǎn)已經(jīng)可見。許多人，包括我自己兩年前看到GPT-3時(shí)的想法，可能認(rèn)為我們一輩子都無法見證AGI的到來，甚至在50年內(nèi)也無法看到今天的GPT-4。但事實(shí)證明，兩年內(nèi)就發(fā)生了很大的變化，而且這只是個(gè)開始，發(fā)展速度只會(huì)越來越快。
Monica：你在網(wǎng)上看到的關(guān)于這篇論文最常見的不一樣的觀點(diǎn)，或者說你覺得存在一些誤解的點(diǎn)在哪？
張弋：有些讀者可能沒有花太多時(shí)間仔細(xì)閱讀論文，所以他們可能會(huì)誤以為我們所說的GPT-4是他們每天使用的那個(gè)版本。實(shí)際上，這兩個(gè)模型是非常不同的，它們?cè)诟鞣N指標(biāo)上也存在很大的差異。我自己負(fù)責(zé)評(píng)估模型的代碼編寫能力，我們當(dāng)時(shí)的評(píng)估結(jié)果非常令人震驚。
在LeetCode的測(cè)試中，模型的表現(xiàn)遠(yuǎn)遠(yuǎn)超過了人類的平均水平。我認(rèn)為這個(gè)水平絕對(duì)可以輕松通過大型公司的各種面試，例如讓GPT寫代碼的電話面試段落。
然而，公開版本的GPT-4在代碼編寫能力方面下降了很多。許多推特博主們收集了一些數(shù)據(jù)并測(cè)試了模型，發(fā)現(xiàn)它可以正確地回答之前的問題，但對(duì)于新題目就無法處理了。這表明該模型只是過度擬合了原來的訓(xùn)練集，而并不真正理解如何編寫代碼，當(dāng)遇到新問題時(shí)就無法應(yīng)對(duì)，無法舉一反三。
在我們測(cè)試模型時(shí)，我們都非常關(guān)注模型之前是否見過類似的數(shù)據(jù)。具體到代碼編寫評(píng)估，我們抓取了Niko上最近的100道題目，Deca發(fā)布了一個(gè)每周競(jìng)賽，每周發(fā)布3~4道題目作為本周的競(jìng)賽題，然后將其添加到題庫(kù)中，所以每道題目都可以追溯到發(fā)布到網(wǎng)上的日期。當(dāng)時(shí)我們用互聯(lián)網(wǎng)上大部分的題目進(jìn)行了測(cè)試，并使用Google搜索進(jìn)行了一番努力，但以我們的能力，并沒有找到類似的解答。我們非常自信地使用了這個(gè)測(cè)試集，因?yàn)樗诨ヂ?lián)網(wǎng)上是不存在的。
更廣義地說，這也涉及到我們?nèi)绾卧u(píng)價(jià)和測(cè)試模型的問題。以前的基準(zhǔn)測(cè)試集都是在已有的數(shù)據(jù)集上進(jìn)行測(cè)試，模型好不好只需要運(yùn)行一次，并根據(jù)得分高低判斷。但是對(duì)于這個(gè)模型來說，它在訓(xùn)練過程中接觸到的數(shù)據(jù)非常龐大，它已經(jīng)涵蓋了整個(gè)互聯(lián)網(wǎng)上的所有數(shù)據(jù)。如果你再去尋找已經(jīng)存在的數(shù)據(jù)集進(jìn)行測(cè)試，基本上是不太可能真實(shí)反映其能力的。
所以這也是一個(gè)非常大的挑戰(zhàn)，很多人可能沒有意識(shí)到，相對(duì)于傳統(tǒng)的論文研究，他們只需要在現(xiàn)有的基準(zhǔn)測(cè)試上運(yùn)行一次并取得高分。但他們也沒有宣稱這個(gè)模型具有很強(qiáng)的泛化能力，因?yàn)樗芸赡苤皇怯涀×舜鸢浮?/p>
我們?cè)诿總�(gè)方向上都進(jìn)行了手動(dòng)設(shè)計(jì)的測(cè)試示例，盡量確保這些示例在我們已知的范圍內(nèi)，而模型沒有在互聯(lián)網(wǎng)上找到。
譚旭：我也可以繼續(xù)談一下對(duì)于張弋的Sparks的一些感受，特別是它在視覺空間方面的理解能力，比如方位和形狀。令我震撼的是，即使在這個(gè)模型沒有接觸過任何視覺數(shù)據(jù)的情況下，它仍然能夠進(jìn)行出色地推理。
我猜測(cè)的一個(gè)原因可能是，現(xiàn)在GPT的訓(xùn)練數(shù)據(jù)已經(jīng)不再局限于我們之前所理解的純文本數(shù)據(jù)，而是包含了互聯(lián)網(wǎng)上以書面形式展示的各種數(shù)據(jù)形式。例如，代碼是其中非�；A(chǔ)的一部分，而且模型可能在互聯(lián)網(wǎng)上見過大量以文本或代碼形式展示的圖像數(shù)據(jù)。
它對(duì)于空間位置和形狀的理解可能與文本可視化代碼以及其文本注釋之間存在一些關(guān)聯(lián)。這使得它能夠通過文字和代碼建立連接，因?yàn)槲淖直旧砻枋隽丝臻g形狀的幾何概念，所以它能夠直接通過文字指令生成相應(yīng)的代碼來完成任務(wù)，并且可以與用戶進(jìn)行交互。
舉個(gè)例子，如果你說形狀有問題，或者你想改變一個(gè)形狀，它可以通過代碼和形狀的關(guān)聯(lián)性生成正確的指令來修改相應(yīng)的形狀。
此外，關(guān)于音樂生成，因?yàn)槲易约阂矎氖翧I音樂生成相關(guān)的工作，所以當(dāng)我看到GPT-4的功能時(shí)，我感到非常震驚。當(dāng)然，現(xiàn)在GPT-4的音樂生成能力肯定無法與我們專業(yè)音樂生成模型相比，無論是從質(zhì)量、作曲技巧還是創(chuàng)造力和豐富性來看，都有差距。但它仍然讓我們吃驚，因?yàn)镚PT-4并沒有專門為音樂生成而設(shè)計(jì)，它只是將互聯(lián)網(wǎng)上所有可見的數(shù)據(jù)進(jìn)行訓(xùn)練，然后它就能夠與文本進(jìn)行交互式的音樂生成或改進(jìn)。換句話說，現(xiàn)在的GPT是一個(gè)非常全面和通用的超級(jí)百科全書。
盡管它在專業(yè)領(lǐng)域可能不如各個(gè)專家模型，但它的潛力應(yīng)該是非常大的。
Monica：實(shí)驗(yàn)版本的GPT-4其實(shí)并沒有加入多模態(tài)的訓(xùn)練數(shù)據(jù)，你們內(nèi)部有沒有討論過為什么它與GPT-3、GPT3.5有這么大的差異？
張弋：關(guān)于模型的具體細(xì)節(jié)和訓(xùn)練方法，我們無法得知，只能進(jìn)行猜測(cè)。
通過與OpenAI的人員交流，當(dāng)然有些細(xì)節(jié)他們無法透露給我們，他們認(rèn)為使用強(qiáng)化學(xué)習(xí)來對(duì)齊模型是非常重要的，而不僅僅是為了安全性，而且在推理方面也可以使用強(qiáng)化學(xué)習(xí)。
你可以人工給模型提供反饋，例如告訴它算法題做對(duì)了，代碼可以運(yùn)行了，然后給予它獎(jiǎng)勵(lì)，模型可以通過這種方式進(jìn)行訓(xùn)練。他們?cè)谶@方面進(jìn)行了許多嘗試，告訴我們這些嘗試直接導(dǎo)致了GPT-4和GPT-3.5之間的差距。
最直接的差距在于，雖然我們不知道GPT-4的參數(shù)具體有多少，但肯定比GPT-3.5要大很多個(gè)數(shù)量級(jí)。實(shí)際上GPT-3.5本身并不是很大，GPT-3.5好像是公開信息，它有少于100個(gè)億的參數(shù)。
GPT-3.5應(yīng)該比GPT-3還要小，而GPT-4肯定比GPT-3要大至少1到2個(gè)數(shù)量級(jí)，甚至可能達(dá)到10個(gè)數(shù)量級(jí)。這只是我們的猜測(cè)，但僅限于猜測(cè)。
如何解決大模型的 Hallucination（幻覺）？
Monica：其實(shí)我還看到這個(gè)論文下面，大家也很經(jīng)常會(huì)提到有一些 limitation就是一些限制，你們?nèi)绾慰创鼼PT-4的限制？
張弋：我們主要關(guān)注它的推理能力，但它明顯有一個(gè)不足之處是無法進(jìn)行規(guī)劃。例如，當(dāng)GPT-4開始執(zhí)行一個(gè)任務(wù)時(shí)，它不知道如何開始。然而，作為人類，我們可以先試錯(cuò)，比如嘗試向前走幾步，如果行不通就退回來。但這個(gè)模型沒有橡皮擦可以擦除之前的步驟，一旦它把字寫下來，就存在于它的輸入中了。
我們通常會(huì)嘗試多種方法，大部分都不會(huì)成功，直到最后找到一個(gè)成功的方法。然后我們會(huì)寫一篇論文，但論文中只會(huì)說我知道這個(gè)方法成功了，而不會(huì)提到之前嘗試了100種方法，這100種方法都在哪里失敗了。
這個(gè)模型很容易在面對(duì)數(shù)學(xué)問題時(shí)，先給你答案，而不給出任何步驟。然后它會(huì)假裝寫很多步驟，以證明這個(gè)答案是正確的。但事實(shí)上，如果它一開始就給出了答案，那么這個(gè)答案幾乎肯定是錯(cuò)誤的，99%都是錯(cuò)的。然后它會(huì)編造很多看似正確的步驟來證明這個(gè)答案是正確的。
很明顯，這個(gè)模型沒有像人類一樣一步一步地進(jìn)行數(shù)學(xué)問題的解決。
硅谷徐老師：通過調(diào)用GPT API的方式是否可以實(shí)現(xiàn)試錯(cuò)的過程呢？例如，當(dāng)我調(diào)用API時(shí)，我可以給出不同的提示（Prompt），讓模型按照不同的途徑進(jìn)行嘗試。這意味著試錯(cuò)的過程不是直接放在調(diào)用GPT API內(nèi)部完成，而是在外部進(jìn)行處理，以確保最終能夠得到一個(gè)解決方案。你認(rèn)為這種方法可行嗎？
張弋 ：這個(gè)方法是可行的，這也是陶哲軒之前所說的。作為一位頂級(jí)數(shù)學(xué)家，他表示他已經(jīng)開始使用ChatGPT在他的日常數(shù)學(xué)研究中尋找靈感。
我也有一些親身經(jīng)歷的例子。我們?cè)?jīng)嘗試測(cè)試GPT的數(shù)學(xué)能力，一開始我們想直接挑戰(zhàn)最困難的國(guó)際數(shù)學(xué)競(jìng)賽（IMO）題目，但我們知道讓GPT來解題肯定會(huì)得到錯(cuò)誤的答案。然而，我發(fā)現(xiàn)它給出的思路非常有幫助。在這種情況下，我自己并沒有接受過訓(xùn)練，但它能夠幫助我。例如，我讓它先解答去年的一到兩道題，然后我順著它的思路繼續(xù)思考。當(dāng)我發(fā)現(xiàn)它在某個(gè)地方犯錯(cuò)時(shí)，我就會(huì)摒棄它后面的部分。
我會(huì)思考如果它沒有犯錯(cuò)，接下來我該怎么做？然后我沿著它一開始給出的思路繼續(xù)寫下去，最終發(fā)現(xiàn)我能夠解答出題目。但如果沒有GPT來幫助我，我肯定無法從頭開始解這道題，甚至一開始我都不知道要使用哪些工具、哪個(gè)定理適用于這道題，屬于哪個(gè)領(lǐng)域的問題等等。這個(gè)例子可能是GPT和人一起進(jìn)行試錯(cuò)的一個(gè)示例，我認(rèn)為這是非常有希望的方法。
Monica：與ChatGPT相比，微軟的搜索引擎Bing有一個(gè)很大的不同之處，Bing會(huì)給出原始來源的鏈接，也就是網(wǎng)頁鏈接。這種方式在一定程度上解決了幻覺問題。但是實(shí)際上，我們都可以感受到，Bing在推理和各方面的能力上與GPT-4相比還有很大差距，這是否算取舍？
張弋：實(shí)際上，在我們團(tuán)隊(duì)撰寫論文的期間，我們的重點(diǎn)工作之一是撰寫一半的Bing的內(nèi)容。但我們測(cè)試的問題在線上發(fā)布后的24小時(shí)內(nèi)，被人們?cè)谕铺厣掀平饬恕?/p>
然后你可以看到，在這個(gè)問題中，GPT-4只是決定何時(shí)調(diào)用更先進(jìn)的API進(jìn)行查詢，而人類則負(fù)責(zé)去搜索并擴(kuò)展、返回搜索結(jié)果給它。
我們自己有一個(gè)非常有趣的例子，比如在網(wǎng)絡(luò)上搜索某個(gè)東歐小國(guó)人口最多的十個(gè)城市是哪些，你可以找到網(wǎng)頁，網(wǎng)頁上確實(shí)列出了十個(gè)城市。但由于我們限制在自己使用的搜索API中，我們返回給GPT的結(jié)果只有前五個(gè)城市。GPT看到前五個(gè)城市后，它覺得夠了，然后就把前五個(gè)復(fù)述了一遍，但從第六個(gè)開始，GPT就開始自己想象了。不過想象的結(jié)果也差不多，大致正確。
相當(dāng)于GPT了解了關(guān)于這個(gè)問題一半的事實(shí)，對(duì)于剩下的一半它可能有點(diǎn)模糊的記憶，實(shí)際上和人類非常相似，人類說話可能大約90%是非常確定的事實(shí)，然后再加上10%的虛構(gòu)，我們認(rèn)為這可能需要在數(shù)據(jù)或模型訓(xùn)練的層面上解決，而不僅僅是在代碼層面上解決。
譚旭：人類在學(xué)習(xí)或認(rèn)知知識(shí)時(shí)通常有四個(gè)經(jīng)典階段：第一階段是不知道自己不知道，第二階段是知道自己不知道，然后要知道自己知道，最后可能是不知道自己知道已經(jīng)領(lǐng)悟了。實(shí)際上，現(xiàn)在的GPT-4估計(jì)仍處于最早的那個(gè)階段，不知道自己不知道，所以它會(huì)憑空生成或者在推理中逐步解碼，但有沒有什么機(jī)制讓它能夠知道自己不知道呢？
如果我基于現(xiàn)有知識(shí)，對(duì)自己生成的內(nèi)容沒有把握，我是不會(huì)去說的，這是一個(gè)很好的機(jī)制。但目前的模型實(shí)際上對(duì)于自己預(yù)測(cè)錯(cuò)誤的東西非常有自信，就像一本正經(jīng)地胡說八道，他往往對(duì)于預(yù)測(cè)錯(cuò)誤的東西也有很高的自信度，所以從單純模型自身的角度來看，很難讓它知道哪些是錯(cuò)誤的。所以還需要借鑒人類的學(xué)習(xí)過程，比如孩子可能什么都不懂，或者懂的時(shí)候自己并不知道，還需要獲得更多的反潰
目前GPT-4的訓(xùn)練可能主要是基于教科書知識(shí)，而這只占了人類學(xué)習(xí)知識(shí)過程的一小部分，人類的學(xué)習(xí)更多發(fā)生在家庭、學(xué)校和社會(huì)互動(dòng)中，會(huì)通過與他人的互動(dòng)獲得很多反饋，逐漸走向“自己不知道自己不知道，讓自己知道自己不知道”的過程。但這可能需要涉及一些新的模型訓(xùn)練機(jī)制，例如用強(qiáng)化學(xué)習(xí)來解決這些問題。
硅谷徐老師：確實(shí)，訓(xùn)練的一部分是讓模型自身能力提高，讓它能夠意識(shí)到自己的不確定性或者其他方面的改進(jìn)。另一部分是通過整個(gè)解決方案來提高。你可以從GPT等地方像刨冰一樣攝取更多的信息，或者查看網(wǎng)上是否有其他人提到了類似的內(nèi)容。
人類經(jīng)常會(huì)進(jìn)行內(nèi)訓(xùn)，比如經(jīng)常有人在一些渠道傳播謠言或虛假消息。當(dāng)我看到這樣的內(nèi)容時(shí)，我會(huì)進(jìn)行搜索，看看網(wǎng)上是否有其他人提到了類似的事情。如果網(wǎng)上非常安靜，沒有人提到過，那十有八九就是謠言或者造謠。但如果全網(wǎng)都在討論某個(gè)人發(fā)生了什么事情，某個(gè)人去世了，那我就知道這是一個(gè)相當(dāng)重要的新聞。
所以我認(rèn)為訓(xùn)練機(jī)制一方面依靠模型本身的改進(jìn)，另一方面依靠整個(gè)解決方案的提高。
紅博士：各種外部的信息來源也是獲取信息的手段，但從根本上來說，解決方案還是要從模型本身入手。
我來舉個(gè)例子，從GPT-3到GPT-4，幻覺現(xiàn)象明顯減少了很多。這可能有不同的原因，第一個(gè)可能是模型的基本能力大大提高了，在訓(xùn)練階段就具備了較強(qiáng)的能力。另外，新的技術(shù)和方法也有助于AI自己進(jìn)行對(duì)齊和優(yōu)化，這些手段都有提升的空間。
除此之外，在我們目前的訓(xùn)練過程中還存在一個(gè)較大的問題。舉個(gè)例子，我們回顧一下RLFH的過程，第一步是基于人工標(biāo)注的數(shù)據(jù)進(jìn)行監(jiān)督訓(xùn)練，第二步我們會(huì)訓(xùn)練一個(gè)真實(shí)的模型，比較兩個(gè)答案的好壞，然后在第三步我們用RLFH對(duì)模型進(jìn)行訓(xùn)練。
但是當(dāng)模型輸出一個(gè)人類認(rèn)為不夠完美的答案時(shí)，我們的反饋只是一個(gè)簡(jiǎn)單的獎(jiǎng)勵(lì)或懲罰，實(shí)際上并不夠精確。我們只是對(duì)模型進(jìn)行了懲罰，但并沒有告訴它具體哪里出錯(cuò)了。在方法上可能還有很多可以探索和挖掘的地方。我認(rèn)為這也是研究團(tuán)隊(duì)最重要的任務(wù)之一，就是從基礎(chǔ)模型出發(fā)來解決幻覺問題。
大模型走向AGI，面臨哪些挑戰(zhàn)？
Monica：要最終實(shí)現(xiàn)AGI或者更強(qiáng)的智能，還有哪些限制因素？
譚旭：我們?cè)谇懊嫣岬搅艘恍〢GI或者GPT-4的優(yōu)點(diǎn)，但我們也需要從另一個(gè)角度來看待這個(gè)問題，例如現(xiàn)在GPT的一些方法論以及它達(dá)到智能的途徑。
大家都知道《思考，快與慢》這本書提到過“系統(tǒng)一”和“系統(tǒng)二”的概念，現(xiàn)在的模型更多的是對(duì)數(shù)據(jù)進(jìn)行頻率統(tǒng)計(jì)，并進(jìn)行Python的映射，更像是一個(gè)快思考的方式，類似于系統(tǒng)一的方式來解決問題，其中并沒有非常強(qiáng)的或完整的推理過程。
當(dāng)然，現(xiàn)在也有一些機(jī)制，比如"share of thought"（思想共享）或類似的問題機(jī)制，強(qiáng)制機(jī)器進(jìn)行慢思考，并將中間步驟都呈現(xiàn)出來。但我認(rèn)為從本質(zhì)上來說，現(xiàn)在的模型還在為數(shù)據(jù)對(duì)未來的推理、計(jì)劃或認(rèn)知的邏輯方面尋找更好的技術(shù)方法，這個(gè)問題還不是非常清楚。
對(duì)于這個(gè)問題，我們也需要進(jìn)行深入思考，像GPT這樣的強(qiáng)大語言模型是否是通向AGI的最佳途徑。
張弋：當(dāng)前的模型存在許多錯(cuò)誤，而這些錯(cuò)誤大多是因?yàn)樗伎嫉锰炝�，它在看到用戶打的第一句話甚至第一個(gè)詞，就開始吐出答案，并沒有經(jīng)過完整的推理過程，這顯然是錯(cuò)誤的。如果我們強(qiáng)制讓模型慢下來，它會(huì)好很多。但是，問題在于訓(xùn)練數(shù)據(jù)已經(jīng)以這種方式建立起來了，就想很多文章一樣，它們通常會(huì)先告訴你結(jié)論，這樣才能吸引其他人繼續(xù)往下閱讀。除非我們能夠大規(guī)模修改數(shù)據(jù)結(jié)構(gòu)，才可能讓它慢一些，但我們目前不知道如何做到這一點(diǎn)。
此外，我個(gè)人認(rèn)為還有一個(gè)必須解決的限制是真正的多模態(tài)。這意味著模型不僅能夠處理文本，還能夠理解圖像。雖然一些人聲稱現(xiàn)在的GPT版本已經(jīng)能夠處理圖像了，但我認(rèn)為理解圖像這個(gè)任務(wù)應(yīng)該從預(yù)訓(xùn)練階段就開始考慮。
比如對(duì)一個(gè)孩子來說，通過視覺收集到的信息是他成長(zhǎng)過程中最重要的信息之一，再比如一些盲人孩子需要接受特殊訓(xùn)練才能趕上正常孩子的智力發(fā)育水平。
具體來說，當(dāng)我們解數(shù)學(xué)題時(shí)，畫出圖形可以給我們更直觀的感覺，幫助我們解題。這也適用于編程，例如面試編寫代碼時(shí)，最好是邊寫邊畫在紙上。所以，我認(rèn)為最好的情況是，在GPT-4 或 GPT-3.5 已經(jīng)使用完全網(wǎng)所有文字信息的情況下，也能夠充分利用全網(wǎng)的圖像數(shù)據(jù)。
最大的人類數(shù)據(jù)庫(kù)就是YouTube上的視頻，YouTube擁有很多高質(zhì)量視頻，比如教授編程、基礎(chǔ)數(shù)學(xué)或關(guān)于人生思考的視頻。但視頻數(shù)據(jù)龐大且昂貴，可能需要具備承載成千上萬個(gè)電影的容量，而文本數(shù)據(jù)只需幾十至百多TB，我們必須找到如何充分利用高質(zhì)量的視頻視覺信息，讓它能夠更好地幫助模型推理。
然而，目前似乎還沒有明顯的解決方法。
火爆全網(wǎng)的幾款GPT應(yīng)用對(duì)比：HuggingGPT、AutoGPT和ChatGPT Plugin
Monica：HuggingGPT已火爆全網(wǎng)，它的研究背景、運(yùn)行機(jī)制與AutoGPT和ChatGPT Plugin有何異同？
譚旭：目前語言模型在解決復(fù)雜任務(wù)方面的能力還不夠強(qiáng)，HuggingGPT利用語言模型作為一個(gè)調(diào)度中心，將用戶的請(qǐng)求分解為多個(gè)不同的子任務(wù)。在用戶提出復(fù)雜任務(wù)的情況下，他們將任務(wù)拆分后，調(diào)用專家模型來分別執(zhí)行這些子任務(wù)，并將結(jié)果匯總整理，最后返回給用戶。
這種方式可以看作是將一個(gè)語言模型作為大腦系統(tǒng)，而各個(gè)專家模型負(fù)責(zé)處理各自的子任務(wù)，形成一個(gè)復(fù)雜的人工智能解決方案。
通常在學(xué)術(shù)界或者當(dāng)前開發(fā)的系統(tǒng)中，它們更多面向單個(gè)任務(wù)，比如圖像識(shí)別、文本生成、檢測(cè)或語音合成等。然而，我們實(shí)際需要的能力往往是解決復(fù)雜的日常任務(wù)鏈條的能力，更加貼近用戶的實(shí)際需求。
舉個(gè)簡(jiǎn)單的例子，比如我想輸入一張圖片讓AI生成，我描述了這個(gè)人在沙發(fā)上閱讀一本書的動(dòng)作和姿態(tài)。但是AI可能會(huì)將其解讀為這個(gè)人在騎滑板或做其他的事情。同時(shí)，我們可能還需要用聲音來描述這張生成的圖片，它就是一些典型的復(fù)雜AI任務(wù)的復(fù)合，如果我們將這個(gè)復(fù)雜任務(wù)拆解，可能需要使用參考圖片進(jìn)行圖像檢測(cè)、定位，并調(diào)用AI生成模型生成圖片，之后再使用文字描述模型對(duì)圖片進(jìn)行描述，最后使用TTS模型合成語音。當(dāng)然，這只是一個(gè)我們?nèi)菀桌斫獾腁I任務(wù)的例子，實(shí)際上還有許多復(fù)雜的場(chǎng)景。只要我們的語言模型足夠強(qiáng)大，它可以將復(fù)雜的用戶需求拆解成AI可實(shí)現(xiàn)的子任務(wù)的方式。
硅谷徐老師：跟現(xiàn)在另外一個(gè)比較紅火的AutoGPT比起來，它們各有哪些擅長(zhǎng)點(diǎn)和不同點(diǎn)？
譚旭：我覺得它們的思想可能有一些區(qū)別。AutoGPT更多圍繞著語言模型為中心進(jìn)行工作，它主要基于GPT-4，并通過構(gòu)建Prompt，讓GPT-4不斷迭代調(diào)用，完成一些復(fù)雜的功能。AutoGPT誕生之初的思想是用GPT-4做更多的商業(yè)決策、幫助用戶去賺錢。它可能具備幾個(gè)主要功能，比如訪問互聯(lián)網(wǎng)搜集信息，以及管理你的歷史角色或?qū)υ捰涗洝?/p>
最后生成的結(jié)果可以通過文件存儲(chǔ)或通過GPT進(jìn)行總結(jié)。它更偏向以GPT-4為核心構(gòu)建起來的系統(tǒng)，讓GPT-4自己能夠啟動(dòng)，它負(fù)責(zé)調(diào)度決策或整合具體執(zhí)行任務(wù)，將其交給更擅長(zhǎng)的專家模型處理。這些專家模型可能是語言模型本身，也可能是其他更廣泛的模型。未來的目標(biāo)是形成一個(gè)協(xié)調(diào)的系統(tǒng)，以協(xié)同完成復(fù)雜的AI任務(wù)。
可以說AutoGPT可能面向的是一些更廣泛的任務(wù)場(chǎng)景，而HuggingGPT更強(qiáng)調(diào)解決一些復(fù)雜的AI任務(wù)和更專業(yè)的問題。
硅谷徐老師：我們需要不同領(lǐng)域的foundation modle（基礎(chǔ)模型）嗎？
譚旭：如果我們選擇一個(gè)由一個(gè)大型語言模型充當(dāng)大腦，并將每個(gè)領(lǐng)域的專家模型作為具體執(zhí)行角色的系統(tǒng)，我認(rèn)為在這種情況下，我們對(duì)于每個(gè)領(lǐng)域需要關(guān)注的是語言模型在決策調(diào)度和任務(wù)拆解方面的能力。我相信每個(gè)領(lǐng)域的專家模型本身應(yīng)該沒有太大問題，因?yàn)楝F(xiàn)在每個(gè)領(lǐng)域都有著經(jīng)過深入研究的模型。
然而，對(duì)于大型語言模型本身來說，它是否能夠在每個(gè)領(lǐng)域都有良好的泛化能力，是否能夠適應(yīng)不同領(lǐng)域的需求，這取決于我們的服務(wù)器能力是否足夠強(qiáng)大。目前，我們看到的一些現(xiàn)象可能并不完全令人滿意，在某些領(lǐng)域，對(duì)于任務(wù)的需求拆解、調(diào)度和執(zhí)行等方面的能力可能并不夠強(qiáng)大。
這可能涉及到是否需要對(duì)每個(gè)領(lǐng)域進(jìn)行定制化的大型語言模型，作為大腦的能力。也許并不需要完全從頭開始訓(xùn)練語言模型，而是可以使用現(xiàn)有的大型語言模型，并通過微調(diào)或遷移學(xué)習(xí)的方式使其更適應(yīng)特定領(lǐng)域中涉及的任務(wù)、需求理解、任務(wù)拆解和規(guī)劃執(zhí)行等方面的要求。
張弋：目前最大的瓶頸似乎在于如何讓訓(xùn)練完成的模型既能學(xué)習(xí)到新知識(shí)，又不忘記之前學(xué)到的內(nèi)容。這對(duì)學(xué)術(shù)界來說也是一個(gè)未知之?dāng)?shù)。當(dāng)你需要模型具備強(qiáng)大的推理能力時(shí)，會(huì)發(fā)現(xiàn)當(dāng)前的方法并不是最佳選擇。
然而，我個(gè)人認(rèn)為這只是一個(gè)技術(shù)層面上的問題，不是本質(zhì)上的難題，我認(rèn)為并不需要為各個(gè)領(lǐng)域都建立一個(gè)基礎(chǔ)模型。
但我所考慮的是從成本和商業(yè)角度來看。雖然我們不知道GPT這樣的大型模型具體花費(fèi)了多少資金，但我猜測(cè)訓(xùn)練這個(gè)模型可能需要數(shù)十億美元的投資，當(dāng)時(shí)微軟進(jìn)行了資金注入，這是一個(gè)巨大的投資，大多數(shù)公司可能無法負(fù)擔(dān)得起。
而且這也是一項(xiàng)高風(fēng)險(xiǎn)的投資。目前只有OpenAI這家公司取得了如此驚人的成就，其他公司的模型似乎還有差距，甚至現(xiàn)在訓(xùn)練這樣大型模型都已經(jīng)達(dá)到了地球資源是否足夠的程度。也就是說，GPT可能是建立在像英偉達(dá)這樣的平臺(tái)上的一種技術(shù)。即使微軟在這方面投入了很大的資源，似乎仍然無法滿足地球上所有的應(yīng)用需求。
考慮到資源和資金限制，很難支持每個(gè)領(lǐng)域都有一個(gè)大型模型。因此，我們目前仍然在盡力將現(xiàn)有的模型發(fā)展得更好。
硅谷徐老師： HuggingGPT和AutoGPT技術(shù)成熟了嗎？為什么需要專家生態(tài)？
譚旭：要推進(jìn)這樣的系統(tǒng)，我們可以從兩個(gè)角度入手。
首先是作為大型語言模型，它需要提升對(duì)任務(wù)理解、調(diào)度和規(guī)劃的能力，需要在各個(gè)領(lǐng)域都能表現(xiàn)出色。
第二是建立專家模型的生態(tài)系統(tǒng)�，F(xiàn)在我們看到，HuggingGPT推出后出現(xiàn)了很多奇特的需求，其實(shí)這些需求并不奇怪，只是之前不常見而已。這些需求一直存在，只是被忽視或壓抑了。
現(xiàn)在釋放出來的需求需要復(fù)雜的模型來支持。我們需要在不同領(lǐng)域中支持足夠多的模型來處理各種事情。建立一個(gè)完善的生態(tài)系統(tǒng)可能對(duì)這個(gè)系統(tǒng)的成功推進(jìn)至關(guān)重要。
另外，我還想談?wù)勅蝿?wù)邊界的問題。因?yàn)榇笮驼Z言模型本身也能處理一些相關(guān)任務(wù)，并且可以進(jìn)行調(diào)度，所以有點(diǎn)像既當(dāng)裁判又當(dāng)運(yùn)動(dòng)員。
我們需要明確大型語言模型的邊界，即哪些任務(wù)應(yīng)該由語言模型自己完成，哪些任務(wù)必須交給專家模型來處理。這里可能需要有一些指導(dǎo)或定義，以確定哪些任務(wù)應(yīng)該放在一個(gè)模型中，以及從經(jīng)濟(jì)的角度考慮，哪些任務(wù)需要拆分并交給專家們來處理，讓他們專注于專業(yè)的事務(wù)。
微軟可能提供了一些基礎(chǔ)的辦公軟件或底層軟件，但許多軟件還是由開發(fā)者來完成。如果我們能夠定義好這個(gè)生態(tài)系統(tǒng)的鏈條，可能會(huì)更容易地推動(dòng)這個(gè)事情。我認(rèn)為目前像OpenAI的GPT還處于初期階段。
Monica：為什么說ChatGPT Plugin的本質(zhì)是OpenAI在收集數(shù)據(jù)？
紅博士：Agent這個(gè)概念在智能研究中非常通用，并且在應(yīng)用和互聯(lián)網(wǎng)的角度來看，我們可以將其視為使用大型語言模型和調(diào)用各種API的方式。無論是AutoGPT、HuggingGPT還是OpenAI的插件，它們都使用了大型語言模型，并調(diào)用各種模型或成熟的外部API，這些可以被視為API的一種。從OpenAI的Plugin設(shè)計(jì)中，我們可以看到很多有趣的東西。在分析之前，我們要了解一個(gè)背景，那就是OpenAI最關(guān)心的是AGI（人工通用智能），而不僅僅是收益、生態(tài)系統(tǒng)或盈利。當(dāng)我們有了這個(gè)背景后，我們?cè)賮砜创Z言模型的使用，就會(huì)發(fā)現(xiàn)新的東西。
舉個(gè)例子，我們剛才討論到，當(dāng)前的GPT在進(jìn)行規(guī)劃時(shí)，并不能總是確定應(yīng)該何時(shí)調(diào)用哪個(gè)API。目前的做法是讓用戶指定要使用哪些插件，并告訴GPT自己的任務(wù)，然后GPT會(huì)據(jù)此進(jìn)行處理。我們可以猜測(cè)，這樣的做法實(shí)際上是在收集數(shù)據(jù)，讓人類幫助標(biāo)注這些任務(wù)的執(zhí)行情況。
當(dāng)我們想完成某個(gè)任務(wù)時(shí)，我們需要調(diào)用哪些API？完成任務(wù)后，是否獲得了所需的結(jié)果？這些數(shù)據(jù)非常寶貴，對(duì)于GPT未來的升級(jí)和改進(jìn)是至關(guān)重要的。
更進(jìn)一步，API不僅僅局限于幾十個(gè)或幾百個(gè)外部的API，還可以包括本地軟件，每個(gè)應(yīng)用程序也可以看作是調(diào)用操作系統(tǒng)的各種函數(shù)接口的API，甚至可以包括各種硬件，比如傳感器（如溫度傳感器、激光雷達(dá)傳感器、視覺傳感器）以及機(jī)器人和機(jī)械臂等等。這些東西都可以通過API與大腦進(jìn)行連接。因此，這是一個(gè)非常本質(zhì)的問題，即通用智能的能力，在于它能夠在盡可能多的環(huán)境中成功執(zhí)行任務(wù)，它能夠在越多的環(huán)境中生存，就能夠進(jìn)一步拓展，這是智能的本質(zhì)。
當(dāng)OpenAI構(gòu)建生態(tài)系統(tǒng)時(shí)，他們已經(jīng)清楚地認(rèn)識(shí)到通用智能的重要性。
張弋 ：我之前看到一個(gè)有趣的想法，大家可以共同開源構(gòu)建模型。這個(gè)想法是說模型的構(gòu)建不是由單一的公司或個(gè)人來完成，而是每個(gè)人可以貢獻(xiàn)一個(gè)部分，比如在某個(gè)領(lǐng)域上擁有專業(yè)知識(shí)的模型，然后需要一個(gè)中心機(jī)構(gòu)，可能是OpenAI或其他公司，來處理如何將所有的模型結(jié)合起來，以實(shí)現(xiàn)1+1大于2的效果。
我們猜測(cè)GPT-4或GPT-3.5本身就在使用一種叫做"Mix Your Expert"的技術(shù)，它內(nèi)部有許多路徑，當(dāng)遇到不同的輸入時(shí)，它會(huì)調(diào)用模型中不同的部分來處理。這種方法可以方便地將看起來不相關(guān)的專家模型聯(lián)合到一個(gè)模型中。
所以在未來，模型的構(gòu)建可能不再由某家公司開發(fā)或者某個(gè)人開發(fā)，而是如果我需要一個(gè)具有某種功能的模型，我可以自己提供一個(gè)專家模型，就像我需要一個(gè)能唱饒舌歌的模型一樣。
這就像一個(gè)軟件包，它具有某些功能，但缺少一個(gè)功能，我非常需要這個(gè)功能，所以我可以fork這個(gè)軟件包，然后自己添加這個(gè)功能。我甚至可以要求他們將我的新功能快速集成到主分支中，就像要求他們給我的電腦加裝一個(gè)更快的處理器一樣。未來模型很有可能演變成這樣，這樣的模型迭代速度會(huì)越來越快，可以將小型模型添加到大型模型中，通過連接的方式。這與傳統(tǒng)的翻譯和推理方式不同，你是在改變模型本身。
這不僅僅是改變模型的參數(shù)，甚至價(jià)格也在改變。實(shí)際上，我們一直在說"finding"這件事很困難，它可能會(huì)導(dǎo)致之前的質(zhì)量下降�，F(xiàn)在我們發(fā)現(xiàn)目前最好的方法是單獨(dú)訓(xùn)練一個(gè)專家模型，然后將其添加到現(xiàn)有的模型中。盡管問題還沒有完全解決，但至少說明單獨(dú)添加一個(gè)專家模型是可行的。
中國(guó)的大模型公司如何追趕 OpenAI?
Monica：中國(guó)的大模型公司如何追趕 OpenAI?
紅博士：我們可以看一下美國(guó)的幾家公司，DeepMind、OpenAI和Facebook AI Research（FAIR），DeepMind團(tuán)隊(duì)來自于OpenAI，所以DeepMind和OpenAI的路線非常接近，但是也存在一些差異。比如，DeepMind更注重與強(qiáng)化學(xué)習(xí)相關(guān)的研究，并且在生命科學(xué)領(lǐng)域也有一些工作，比如AlphaFold。DeepMind并沒有投入太多精力在單一模型上，但自從GPT-3發(fā)布之后，我們注意到DeepMind也開始加大在這個(gè)方向上的投入。
有一些知名教授們也持有自己的路線圖，試圖嘗試用一些與OpenAI不同的做法取得成功。即使在工業(yè)界，也有人想要探索與GPT不同的路線，比如像AlphaZero這樣的路線圖能否實(shí)現(xiàn)，還有一些人會(huì)想要一步到位直接進(jìn)行"grounding".例如，利用大規(guī)模智能體（如機(jī)器人）在現(xiàn)實(shí)世界中實(shí)現(xiàn)智能控制等。
但最明確的路線還是OpenAI的方法。有兩個(gè)因素，首先，OpenAI已經(jīng)在許多API路線中取得了成功；其次，大模型領(lǐng)域的一些基礎(chǔ)已經(jīng)準(zhǔn)備好了，無論是理論還是技術(shù)，甚至芯片等等。
所以，如果我們以構(gòu)建API為目標(biāo)來看待這個(gè)問題，我認(rèn)為大部分寶還是要壓在GPT的路線上。這是基于形式上的分析，當(dāng)然這是我的判斷，我沒有看到特別大的障礙或技術(shù)上的破綻，我認(rèn)為這條路可以繼續(xù)走得更遠(yuǎn)。
我可以舉一些例子來說明可能的方向。比如，像目前OpenAI的GPT已經(jīng)達(dá)到了32k，但顯然人們希望能夠?qū)崿F(xiàn)更大規(guī)模的模型。但以現(xiàn)有的技術(shù)，如果想要增強(qiáng)GPT的長(zhǎng)度，內(nèi)存是一個(gè)巨大的挑戰(zhàn)，計(jì)算復(fù)雜度也很高。
除了長(zhǎng)度之外，還需要一些算法層面的突破。在集成電路的層面上，HBM（High Bandwidth Memory）技術(shù)還有很長(zhǎng)的路要走。這只是關(guān)于長(zhǎng)度的例子，當(dāng)然還有很多其他的方向。
全球TOP 2000公司如何學(xué)習(xí)使用GPT？
Monica：AI技術(shù)應(yīng)用落地的現(xiàn)狀如何？有什么機(jī)會(huì)和挑戰(zhàn)？
硅谷徐老師：全球不僅業(yè)內(nèi)人士，業(yè)外人士也在關(guān)注ChatGPT，在接下來的一兩年內(nèi)，全球最大的2000家公司可能會(huì)真正開始應(yīng)用GPT技術(shù)和大型模型。
對(duì)于這2000家公司來說，有幾種方式可以應(yīng)用GPT技術(shù)和大型模型。一種方式是購(gòu)買第三方服務(wù)，如Jasper或Midjourney，利用這些服務(wù)背后的人工智能模型來提高生產(chǎn)效率。另一種方式是將大型模型的概念和技術(shù)引入公司內(nèi)部。然而，并不是所有公司都能輕易實(shí)現(xiàn)這一點(diǎn)。每個(gè)公司的CEO都在思考這個(gè)問題，但實(shí)際上將其落實(shí)并不容易，因?yàn)閮H僅依靠GPT無法告訴公司下一步發(fā)展應(yīng)該如何，還需要微調(diào)和大量數(shù)據(jù)的支持。
無論是微調(diào)還是其他方法，都需要完整打通公司數(shù)據(jù)，以實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)和執(zhí)行。這是一個(gè)艱巨的任務(wù)，我個(gè)人觀察到很多公司都在努力嘗試，包括我自己最近也換了公司，與很多大公司都有接觸，這是一項(xiàng)困難的任務(wù)。
除了上述問題，還有其他痛點(diǎn)需要解決。例如，雖然GPT現(xiàn)在能夠?qū)懳恼拢?cái)富500的大多數(shù)公司并不會(huì)讓機(jī)器來編寫代碼，因?yàn)楹弦?guī)性和法律問題是值得關(guān)注的，大公司需要進(jìn)行文化上的改變，數(shù)據(jù)打通需要付出大量努力。
綜上所述，對(duì)于全球最大的1000-2000家公司來說，采用GPT技術(shù)和大型模型仍然是一項(xiàng)長(zhǎng)期而復(fù)雜的任務(wù)。然而，最令人興奮的是那些原生的、以大語言模型為核心的公司。這些公司是新時(shí)代的產(chǎn)物，它們有可能顛覆很多現(xiàn)有的公司。在過去，財(cái)富500的公司每20-30年就會(huì)有一次輪換，但在人工智能和大型模型時(shí)代，輪換的速度可能會(huì)更快。在未來的15年內(nèi)，絕大多數(shù)我們熟知的財(cái)富500的公司可能不再在榜單上，但原生的大型模型公司可能具備更快的執(zhí)行能力。
紅博士：我同意徐老師剛才提到的觀點(diǎn)。
盡管人們都在討論GPT等技術(shù)，但實(shí)際上在我們周圍的人和企業(yè)中，真正將其應(yīng)用于日常工作和生活的還比較少。我認(rèn)識(shí)一些科技公司和人工智能公司的CEO，他們已經(jīng)在自己的公司中主動(dòng)推廣這些技術(shù)�，F(xiàn)在有了GPT和Copilot等工具，但對(duì)于大多數(shù)公司，特別是傳統(tǒng)公司來說，這仍然是一個(gè)相對(duì)復(fù)雜和漫長(zhǎng)的過程，需要考慮很多因素。這有點(diǎn)像20年前大家都在進(jìn)行所謂的信息化進(jìn)程一樣。
現(xiàn)在有了人工智能，你還需要重新構(gòu)建人工智能的業(yè)務(wù)流程，這就既需要理解人工智能，又需要理解業(yè)務(wù)流程。因此，在這個(gè)時(shí)候，需要存在一個(gè)施工隊(duì)的角色。施工隊(duì)是指既能理解人工智能，又愿意深入到每一個(gè)復(fù)雜的業(yè)務(wù)流程中去思考，如何將類似于GPT或更復(fù)雜的GPT技術(shù)結(jié)合各種模型和API的技術(shù)，打造成一個(gè)解決方案，來幫助互聯(lián)網(wǎng)企業(yè)或傳統(tǒng)企業(yè)完成人工智能的業(yè)務(wù)流程重構(gòu)。
我認(rèn)為現(xiàn)在正是一個(gè)缺位的機(jī)會(huì)，需要專門擅長(zhǎng)并愿意深入企業(yè)中進(jìn)行這項(xiàng)工作的人，比如在企業(yè)服務(wù)領(lǐng)域，下沉到企業(yè)中實(shí)施還是相當(dāng)困難的，尤其在中國(guó)，定制化和私有化的需求普遍存在。
從技術(shù)角度來看，在開源模型的基礎(chǔ)上進(jìn)行垂直領(lǐng)域的調(diào)優(yōu)，對(duì)于以往從事人工智能企業(yè)服務(wù)的公司來說，技術(shù)門檻和研發(fā)成本并不高。其中最大的風(fēng)險(xiǎn)應(yīng)該是通用模型在各個(gè)行業(yè)場(chǎng)景中性能的迅速提升，比如我們看到從GPT-3.5到GPT-4的進(jìn)步，以及在法律和醫(yī)療等領(lǐng)域，GPT-4直接超越了以前所有的專用模型。
當(dāng)然，話雖如此，如果擁有足夠強(qiáng)大的數(shù)據(jù)壁壘，企業(yè)仍然會(huì)保持定制化模型的優(yōu)勢(shì)，并且具備相當(dāng)長(zhǎng)時(shí)間的競(jìng)爭(zhēng)優(yōu)勢(shì)。只是市場(chǎng)可能逐步被侵蝕，最終剩下的差異化優(yōu)勢(shì)將是定制化和根據(jù)業(yè)務(wù)流程重構(gòu)過程進(jìn)行的私有化。
張弋：我認(rèn)為可能需要革命性地提升底層的計(jì)算平臺(tái)或基礎(chǔ)設(shè)施才能實(shí)現(xiàn)這一點(diǎn)�，F(xiàn)在雖然大家都在談?wù)揋PT-4，但實(shí)際上很少有人在使用。對(duì)于普通用戶來說，每分鐘只能進(jìn)行25次推理的限制，導(dǎo)致即使這個(gè)模型非常強(qiáng)大，也無法在日常生活中被廣泛應(yīng)用。
在微軟，我們的GPU資源已經(jīng)非常緊張，為了支持包括OpenAI、GPT模型等的推理，甚至影響到了其他部門的工作。此外，如何在市場(chǎng)上購(gòu)買更多的A版或新的H版卡也是一個(gè)問題，現(xiàn)在這些東西幾乎完全由NVIDIA一家公司控制，而NVIDIA又依賴于臺(tái)積電、貝斯當(dāng)、斯邁爾等公司。提升產(chǎn)能非常困難，不僅僅是有錢就能買到。如果我們想要廣泛應(yīng)用這個(gè)模型，我們必須使其更孝更快、更便宜。
現(xiàn)在已經(jīng)到了整個(gè)地球都無法提供足夠的A100卡以供全球人類使用的奇怪場(chǎng)景。一年前沒有人會(huì)想到這一點(diǎn)。我之前聽說微軟在建設(shè)新的數(shù)據(jù)中心時(shí)，甚至在考慮將其放在美國(guó)的哪個(gè)州，因?yàn)榇蠖鄶?shù)州的電網(wǎng)無法支持如此強(qiáng)大的能源需求。
現(xiàn)在已經(jīng)涉及到人類工程能力的問題，希望能夠盡快解決這些問題，例如不使用GPU的方法，如果模型已經(jīng)優(yōu)化得非常好，我們能否直接使用特定的硬件（如APU）而無需改變模型？我認(rèn)為在硬件層面可能會(huì)出現(xiàn)一波新的明星，專門為Transformer模型提供支持。
這將有助于提供更高效的模型服務(wù)，而無需依賴GPU。我認(rèn)為這個(gè)領(lǐng)域有很大的潛力，因?yàn)槟壳笆袌?chǎng)上只有NVIDIA一家公司占據(jù)主導(dǎo)地位，雖然AMD也有一些份額，但相對(duì)較少。
Monica：AI 應(yīng)用創(chuàng)業(yè)有哪些方向？為什么說要關(guān)注 mission impossible (不可能的任務(wù)）？
硅谷徐老師：如果我知道了，明天自己就會(huì)開始去做了。我個(gè)人的想法是，對(duì)于我們能夠看到的應(yīng)用，比如在線購(gòu)物、訂餐外賣等，雖然AI可以讓這些事情更加方便，但我不確定僅憑這些應(yīng)用來提高效率是否足夠。我比較樂觀，我認(rèn)為AI所帶來的變革不僅僅是提升這些應(yīng)用的效率，更重要的是，AI可以改變一些過去被認(rèn)為是不可能實(shí)現(xiàn)或者變化緩慢的事情。
AI可以應(yīng)用于IT領(lǐng)域之外的各個(gè)領(lǐng)域，無論是醫(yī)療、機(jī)械工程還是其他領(lǐng)域，都可以幫助它們實(shí)現(xiàn)一些改變。
張弋 ：特別是在法律領(lǐng)域，我發(fā)現(xiàn)天然存在著高壁壘但效率很低的情況。法律公司通常雇傭很多人，但實(shí)際上他們所處理的案件很少，而且律師費(fèi)用也很高。
我認(rèn)為GPT可以在這方面發(fā)揮作用。如果我開一家法律公司，我會(huì)雇傭一些有執(zhí)照的律師，但只會(huì)聘用大公司中的一小部分員工。然后我會(huì)訓(xùn)練所有員工，讓他們熟練使用GPT。這樣，他們就不需要處理一些很復(fù)雜的工作，而是可以專注于一些日常的違規(guī)處理等事務(wù)。這樣一來，他們的效率可以提高10倍。同時(shí)，我們會(huì)降低收費(fèi)，這將引發(fā)社會(huì)性的變革，可能會(huì)改變整個(gè)法律體系。
我知道這個(gè)想法可能有些天真，但我認(rèn)為這種做法有可能打破社會(huì)上的壁壘，這可能是新技術(shù)對(duì)人類帶來的最大價(jià)值之一。
硅谷徐老師：對(duì)于律師這個(gè)行業(yè)來說，IT技術(shù)一直沒有徹底顛覆它，這不僅僅是因?yàn)榧夹g(shù)的原因。如果僅僅是因?yàn)榧夹g(shù)的原因，老實(shí)說在過去的20年中，律師行業(yè)本來就應(yīng)該有很大的變化。但事實(shí)是，這個(gè)行業(yè)在過去的20年中幾乎沒有改變。從這一點(diǎn)可以看出，問題肯定不僅僅是技術(shù)所致。
但我非常贊同你的觀點(diǎn)，我們需要從各個(gè)行業(yè)，包括律師行業(yè)，開始重新思考。過去，每個(gè)行業(yè)都認(rèn)為自己已經(jīng)達(dá)到了天花板，我希望挑戰(zhàn)的是，每個(gè)行業(yè)的天花板是否都能以10倍或者100倍的方式來思考，通過將過去的方法與今天的方法結(jié)合起來，從360度的角度進(jìn)行思考。
為什么某些行業(yè)變化得非常迅速？部分原因在于它們的IT化程度相對(duì)較低，數(shù)字化程度也相對(duì)較低。對(duì)于像硅谷的Google、Facebook和微軟這樣的大公司來說，招聘程序員已經(jīng)成為司空見慣的事情。但實(shí)際上，對(duì)于許多非IT行業(yè)來說，要找到優(yōu)秀的程序員，并讓他們參與數(shù)字化工作并不容易。
我們同意微軟的CEO薩提亞納德拉的觀點(diǎn)。許多人都在討論程序員的工作是否會(huì)被自動(dòng)化取代，但他認(rèn)為我們最終增加的是對(duì)數(shù)字貨幣的需求。換句話說，所謂的程序員，或者說開發(fā)者，實(shí)際上是將物理世界的事物轉(zhuǎn)化為數(shù)字化，并不斷優(yōu)化這個(gè)過程。這在一些大公司中已經(jīng)司空見慣，但在其他領(lǐng)域中，這個(gè)過程相對(duì)低效、緩慢地推進(jìn)。舉個(gè)例子，自動(dòng)生成代碼可以增加數(shù)字貨幣，為成千上萬家公司的數(shù)字貨幣增值。這會(huì)提高他們的工作效率，并使他們?cè)菊J(rèn)為天花板在某個(gè)位置的行業(yè)的天花板再次上升。這是我認(rèn)為比較合理的一種思考方式。
當(dāng)然，技術(shù)永遠(yuǎn)無法解決所有問題。即使技術(shù)解決了我們今天所知的所有疾病，人類依舊將面臨新的問題。這只是我在這方面的一些想法。
AI最讓人興奮的未來：AGI一定會(huì)到來
Monica：AI最讓人興奮的未來是什么？
譚旭：未來可能有一些令人興奮的事情，在討論AGI時(shí)，往往會(huì)存在理想主義和現(xiàn)實(shí)主義之間的區(qū)別。我們是否能夠?qū)崿F(xiàn)完全的人類智能一直是一個(gè)討論的重點(diǎn)。但你看，即使像GPT-4這樣的模型還沒有完全實(shí)現(xiàn)這一目標(biāo)，但它已經(jīng)解決了大部分問題，并產(chǎn)生了巨大的影響，為各行各業(yè)帶來了幫助。
在這種情況下，提高效率變得更加重要。在我能夠提升當(dāng)前生產(chǎn)流程效率的情況下，實(shí)現(xiàn)AGI可能就沒有那么重要了�，F(xiàn)在，沿著大型語言模型的方向繼續(xù)發(fā)展，應(yīng)該會(huì)有一些重要的突破。這些突破可能包括多模態(tài)能力、與世界的互動(dòng)以及更加注重行動(dòng)，例如機(jī)器人或超級(jí)智能體等方向。
我們可以將人類智能進(jìn)行拆解，首先是大腦，而語言是區(qū)別于其他動(dòng)物的關(guān)鍵能力之一。現(xiàn)在的語言模型在模擬大腦特別是語言方面的能力做得非常出色。接下來，我們需要整合視覺、聽覺、嗅覺、口腔、手和腳以及與世界的互動(dòng)。沿著這個(gè)方向發(fā)展，一定會(huì)豐富我們對(duì)AGI能力的體現(xiàn)，同時(shí)也為我們創(chuàng)造足夠的機(jī)會(huì)，讓我們?nèi)ラ_拓和嘗試。這是我對(duì)未來的一些展望。
張弋 ：我們可能更關(guān)注一些學(xué)術(shù)性的問題，例如如何更好地解決目前大型模型面臨的一些問題。如果我們能夠解決這些問題，它將會(huì)有一個(gè)質(zhì)的飛躍，那將是什么呢？我們現(xiàn)在無法確定，因?yàn)榭赡苁且粋�(gè)與現(xiàn)有大模型完全不同的全新范式。
而我希望在不久的將來能夠看到的是，人們逐漸揭開大型模型訓(xùn)練的黑盒子。目前我們對(duì)于大模型訓(xùn)練的各個(gè)方面的探索還處于非常初級(jí)的階段，基本上就是將所有可用的數(shù)據(jù)都輸入，然后使用所有的顯卡進(jìn)行訓(xùn)練，最后進(jìn)行微調(diào)，可能再加上一些語言模型的預(yù)訓(xùn)練。但我認(rèn)為一個(gè)非常重要的問題是，我們應(yīng)該先輸入什么樣的數(shù)據(jù)，以及是否有順序。例如，大家口口相傳的一種做法是先在特定領(lǐng)域進(jìn)行快速訓(xùn)練，然后再在通用語料上進(jìn)行訓(xùn)練，這一點(diǎn)我覺得非常有意思。
我不確定是否真的是這樣，但我覺得學(xué)術(shù)界對(duì)這個(gè)問題的探索還不夠，如果我們能夠弄清楚這些問題，也許我們只需要少量的數(shù)據(jù)進(jìn)行訓(xùn)練，比如只需幾千個(gè)詞匯或者甚至更少，模型的規(guī)模也可以變校
在那個(gè)時(shí)候，大型模型可能會(huì)變得更加有用，更多的公司會(huì)加入其中，更多的人也會(huì)愿意使用。這是我希望在未來一年內(nèi)看到的發(fā)展。
紅博士：首先，我認(rèn)為今天在座的人不論是通過什么路徑得出的結(jié)論，都對(duì)AGI的到來沒有太多懷疑。
在這方面由于中國(guó)起步較晚，我們?nèi)蕴幱谧汾s的態(tài)勢(shì)。因此，很少有人關(guān)注一些前沿研究或者主要的研究問題，但實(shí)際上在人工智能領(lǐng)域存在許多前沿科學(xué)問題需要研究。
例如，包括模型本身和數(shù)據(jù)方面的問題。剛才張弋也提到了數(shù)據(jù)的使用方式，目前對(duì)于語言數(shù)據(jù)，我們首先將其進(jìn)行token化，也就是分詞。Context本身就是一種壓縮方式，通過使用GPT進(jìn)一步進(jìn)行壓縮，我們獲得了智能。這是一種使用方式。對(duì)于圖像和視頻等其他模態(tài)的數(shù)據(jù)，我們還不清楚應(yīng)該如何處理。
此外，我們還討論了代碼數(shù)據(jù)和文本數(shù)據(jù)。實(shí)際上，它們都包含了知識(shí)，代碼數(shù)據(jù)可能包含了一些任務(wù)解決和邏輯推導(dǎo)等內(nèi)容。對(duì)于這些數(shù)據(jù)，我們還沒有深入研究，因?yàn)樵谶^去的很長(zhǎng)一段時(shí)間里，以O(shè)penAI為首的公司主要是在摘取低垂的果實(shí)。然而，隨著時(shí)間的推移，Skew EyeLab變得越來越困難，我們需要靜下心來研究這些更精細(xì)的科學(xué)問題，包括模型本身的數(shù)據(jù)和算法，是否有比transformer更好的架構(gòu)，以及解決長(zhǎng)期記憶問題的方法。
此外，還有一些非常重要的科技倫理研究，我們需要了解什么是記憶，什么是泛化，以及模型在什么階段傾向于記憶，在什么階段開始泛化，以及記憶和泛化在訓(xùn)練的每個(gè)階段如何變化。當(dāng)我們理解了這些問題后，我相信我們會(huì)看到許多新的提升方式。
另外一個(gè)問題是AI的治理。在中國(guó)可能并沒有太多關(guān)注，但在全球范圍內(nèi)正在進(jìn)行討論，包括一些知名的AI科學(xué)家也在探討如何使這些強(qiáng)大的模型按照人類的意愿行事，不僅解決一些虛幻問題，還有關(guān)于如何控制這些模型的問題。因?yàn)槲覀兒芸赡懿恍枰L(zhǎng)時(shí)間就能達(dá)到人類智能水平或認(rèn)知水平的基準(zhǔn)。
目前這還是一個(gè)未知數(shù)，但我們現(xiàn)在需要花費(fèi)大量精力來研究這個(gè)問題。我認(rèn)為最前沿的科學(xué)研究需要將技術(shù)實(shí)現(xiàn)或?qū)R放在非常高的優(yōu)先級(jí)上。這涉及模型本身，也包括模型之外的方面，例如我們需要更好的存儲(chǔ)模型的存儲(chǔ)方式。
當(dāng)我們成功構(gòu)建了GPT這樣的模型之后，如何實(shí)現(xiàn)用一個(gè)最深入的機(jī)器人來解決各種問題，比如自動(dòng)駕駛汽車、家務(wù)機(jī)器人，還有一個(gè)非常重要的領(lǐng)域是增強(qiáng)科學(xué)研究的能力。
過去人類科學(xué)家的數(shù)量是相對(duì)較少的，頂尖科學(xué)家更是少之又少。如果一個(gè)AI成為科學(xué)家的助手，甚至具備超過科學(xué)家的認(rèn)知水平，它是否能夠加快我們科學(xué)的進(jìn)步？
例如，在生命科學(xué)和材料科學(xué)領(lǐng)域，當(dāng)前的AI技術(shù)有點(diǎn)像從人類知識(shí)中進(jìn)行提煉，它在學(xué)習(xí)人類在互聯(lián)網(wǎng)上留下的知識(shí)。人類知識(shí)量的多少?zèng)Q定了它的智能程度，那么如何讓它獲得更多的智能？因此，我們需要在科學(xué)上取得更多突破，例如改進(jìn)觀測(cè)儀器，為什么AlphaFold能夠被創(chuàng)造出來？
因?yàn)槲覀內(nèi)祟惪茖W(xué)家發(fā)明了觀測(cè)蛋白質(zhì)結(jié)構(gòu)的儀器，然后我們了解了一些氨基酸序列是如何折疊成蛋白質(zhì)結(jié)構(gòu)的。有了這些數(shù)據(jù)，我們才能開發(fā)出AlphaFold這樣的算法，從而幫助科學(xué)家預(yù)測(cè)新的蛋白質(zhì)結(jié)構(gòu)。這說明我們?nèi)匀粐?yán)重依賴人類的知識(shí)。因此，我非常希望能有更多人參與到研究人工智能中，或者將人工智能應(yīng)用于解決科學(xué)問題，這樣我們就能獲得人類有史以來最大的福利一個(gè)可以無限復(fù)制、極其強(qiáng)大的人工智能，推動(dòng)人類文明的進(jìn)步。
硅谷徐老師：AI的基本組成確實(shí)是算法、算力和數(shù)據(jù)。正如你提到的，我們?cè)谟懻撝幸蔡岬搅瞬煌臄?shù)據(jù)處理方式，例如序列和亞洲獨(dú)特的方式等等。實(shí)際上，還有很多潛在的研究方向需要探索，我們今天只是冰山的一小部分，只是輕輕觸及了其中的一部分，還有很多工作要做。
從算法的角度來看，我們剛才也討論了Transformer模型，大型模型確實(shí)有很大的提升空間。僅僅從并行處理的角度來看，Transformer模型應(yīng)該還有很多改進(jìn)的空間。另外，從算力的角度來看，我們提到了不同代的GPU，從V100到A100再到現(xiàn)在的H100，每一代的提升都是顯著的。我記得在90年代的時(shí)候看英特爾的CPU，看不到天花板，但后來我們看到了英特爾芯片上的天花板，基本上到了三個(gè)赫茲左右，就到達(dá)了頂峰。
但是在AI領(lǐng)域，我覺得最讓人激動(dòng)的一點(diǎn)是，我們還沒有看到天花板的存在，這是我最激動(dòng)人心的地方。
未來有無限的可能性，我們可以不斷提升算法、提升計(jì)算力，獲取更多的數(shù)據(jù)，推動(dòng)AI技術(shù)的發(fā)展。這個(gè)領(lǐng)域的進(jìn)步將會(huì)給我們帶來更多驚喜和突破，讓我們充滿期待。
出品：科技新聞 & 播客《OnBoard!》
策劃：《M小姐研習(xí)錄》
編輯：科技新聞 周小燕 趙陽博
參考文章
論文 [2303.12712] Sparks of Artificial General Intelligence: Early experiments with GPT-4
Language models can explain neurons in language models
fun - Draw a unicorn in TikZ - TeX - LaTeX Stack Exchange
ChatGPT cost a fortune to make with OpenAI's losses growing to $540 million last year, report says
[2304.11062] Scaling Transformer to 1M tokens and beyond with RMT
《ChatGPT當(dāng)“律師”！全球法律巨頭「律商聯(lián)訊」推出Lexis+AI》
《通用人工智能時(shí)代到來了：盡管AGI不完美，人類也會(huì)犯錯(cuò)》
