《AI未來(lái)指北》欄目由科技新聞推出，邀約全球業(yè)內(nèi)專(zhuān)家、創(chuàng)業(yè)者、投資人，探討AI領(lǐng)域的技術(shù)發(fā)展、商業(yè)模式、應(yīng)用場(chǎng)景、及治理挑戰(zhàn)。
編輯| 科技新聞 郝博陽(yáng)、蘇揚(yáng)
作為深度學(xué)習(xí)之父，杰弗里辛頓的一舉一動(dòng)都備受世人矚目。近期他離職谷歌，公開(kāi)表明對(duì)AI的擔(dān)憂(yōu)一時(shí)激起千層浪，在AI研究人員和大眾中帶來(lái)了長(zhǎng)達(dá)一個(gè)月的討論。在當(dāng)時(shí)的采訪(fǎng)中，他的主要論點(diǎn)是AI通過(guò)不斷傳播副本，通過(guò)自我復(fù)制信息共通可以做到比人類(lèi)的智能更強(qiáng)大。
作為在AI研究界最活躍的大腦之一，他永遠(yuǎn)都有著對(duì)機(jī)器如何理解世界的新視野。在呼吁完危險(xiǎn)的這一個(gè)月間，辛頓又建構(gòu)出了一套完整的理解神經(jīng)網(wǎng)絡(luò)的新理論，以細(xì)致的解釋他之前關(guān)于威脅的論點(diǎn)。
6月10日，辛頓出席被稱(chēng)之為中國(guó)“AI春晚”的2023年智源大會(huì)，線(xiàn)上發(fā)表題為《通向智能的兩條通路》（Two paths to Intelligence）的主題演講，作為大會(huì)的壓軸閉幕演講。他在其中討論了一種新的基于硬件的有限計(jì)算，以限制他認(rèn)為人工智能無(wú)限復(fù)制可能帶來(lái)的威脅，但整體上他依然認(rèn)為AI的能力會(huì)很快超越人類(lèi)，由此帶來(lái)更大的威脅。
在這次演講中，辛頓提出了一種全新的人工智能可能：有限計(jì)算。一種更加純粹的自然機(jī)器。不同于我們目前硬件和軟件可分離的情況，有限計(jì)算中硬件本身就是運(yùn)作的軟件。它需要運(yùn)用我們對(duì)于神經(jīng)元的學(xué)習(xí)構(gòu)建硬件，并如同人腦一樣，利用電壓來(lái)控制硬件的學(xué)習(xí)。這種有限計(jì)算可以帶來(lái)更低的能耗和更簡(jiǎn)單制作的硬件，但目前還沒(méi)有很好的學(xué)習(xí)算法讓它獲得像深度學(xué)習(xí)那樣的效果，同時(shí)它的有限性也讓它難以擴(kuò)展。
之后，辛頓討論了智能群體，比如人和AI如何共享知識(shí)的問(wèn)題。分享知識(shí)有兩種方式，一種是生物性的蒸餾，帶寬低但耗能也低。另一種是數(shù)字拷貝，帶寬需求高能耗也高。深度學(xué)習(xí)目前用蒸餾的方式從我們這里（文本中）學(xué)習(xí)，但它自身可以使用數(shù)字拷貝分享知識(shí)。因此雖然AI現(xiàn)在學(xué)習(xí)效率很低，但一旦通過(guò)多模態(tài)等方式獲得了理解這個(gè)世界的自身學(xué)習(xí)的方法，通過(guò)數(shù)字拷貝，它可以迅速分享知識(shí)。這將最終使他們遠(yuǎn)比我們更聰明。
辛頓繼續(xù)推論到，在如果想完成任務(wù)，必須獲得權(quán)力這一定理之下，很難想像像一個(gè)比我們更有智慧的人工智能不會(huì)這么去想盡辦法獲得權(quán)力。而這就是威脅的根源。在自然之中，沒(méi)有過(guò)低智慧生物控制高智慧生物的例子，而且往往高智慧生物對(duì)低智慧生物也不太友好。
劃重點(diǎn)
1辛頓提出了一種全新的人工智能可能：有限計(jì)算。有限計(jì)算讓軟硬件不再分離，用物理硬件更準(zhǔn)確的做并行計(jì)算。它可以帶來(lái)更低的能耗和更簡(jiǎn)單制作的硬件，但更難以訓(xùn)練和擴(kuò)展到大規(guī)模模型上。
2智能群體共享知識(shí)的方式有兩種，生物性的和數(shù)字計(jì)算式的，生物性的共享帶寬低，很慢，數(shù)字拷貝帶寬高，且非�？�。人是生物性的，而AI是數(shù)字性的，因此一旦AI通過(guò)多模態(tài)掌握更多知識(shí)，他們的共享速度很快，也會(huì)很快超越人類(lèi)。
3當(dāng)AI進(jìn)化到比人類(lèi)更有智慧的時(shí)候，他們很可能會(huì)帶來(lái)巨大的風(fēng)險(xiǎn)。包括對(duì)人類(lèi)的利用和欺騙，試圖獲取權(quán)力。并且很可能對(duì)人類(lèi)的態(tài)度并不友好。
以下為演講全文：
今天我要談?wù)摰氖俏业难芯浚?strong>它使我相信超級(jí)智能比我想象的更接近。所以我想要談?wù)搩蓚�(gè)問(wèn)題，而我將幾乎完全專(zhuān)注于第一個(gè)問(wèn)題，即人工神經(jīng)網(wǎng)絡(luò)是否很快會(huì)比真實(shí)的神經(jīng)網(wǎng)絡(luò)更聰明。正如我所說(shuō)，我將描述引導(dǎo)我得出這一結(jié)論的研究。最后，我會(huì)簡(jiǎn)要討論我們是否能控制超級(jí)智能人工智能，但這不是本次演講的重點(diǎn)。
在傳統(tǒng)計(jì)算中，計(jì)算機(jī)被設(shè)計(jì)為精確遵循指令。我們可以在不同的物理硬件上運(yùn)行完全相同的程序或相同的神經(jīng)網(wǎng)絡(luò)，因?yàn)樗鼈儽辉O(shè)計(jì)為精確遵循指令。這意味著程序中的知識(shí)或神經(jīng)網(wǎng)絡(luò)的權(quán)重是永恒的，不依賴(lài)于任何特定的硬件。然而，實(shí)現(xiàn)這種永恒性是有高成本的。我們必須以高功率運(yùn)行晶體管，以使其以數(shù)字方式運(yùn)作。我們無(wú)法充分利用硬件的豐富模擬和高度可變的特性。這就是數(shù)字計(jì)算機(jī)存在的原因。它們遵循指令的原因是因?yàn)樗鼈儽辉O(shè)計(jì)成讓我們先觀察問(wèn)題，確定解決問(wèn)題所需的步驟，然后告訴計(jì)算機(jī)執(zhí)行這些步驟的模式。但現(xiàn)在情況發(fā)生了改變。我們現(xiàn)在有了一種不同的方法來(lái)讓計(jì)算機(jī)完成任務(wù)，那就是從示例中學(xué)習(xí)。我們只需向計(jì)算機(jī)展示我們希望它們完成的任務(wù)，由于如何讓計(jì)算機(jī)做你想要的事情的方式發(fā)生了改變，現(xiàn)在我們有可能要放棄計(jì)算機(jī)科學(xué)最基本的原則，即軟件應(yīng)該與硬件相分離。在放棄這個(gè)原則之前，讓我們簡(jiǎn)要了解一下為什么它是一個(gè)好的原則。由于軟件與硬件的分離，我們可以在不同的硬件上運(yùn)行相同的程序。我們還可以關(guān)注程序的特性，并對(duì)神經(jīng)網(wǎng)絡(luò)上的程序特性進(jìn)行研究，而不必?fù)?dān)心電子方面的問(wèn)題。
這就是為什么計(jì)算機(jī)科學(xué)部門(mén)可以與電氣工程部門(mén)不同。如果我們放棄軟件和硬件的分離，我們就得到了我稱(chēng)之為“有限計(jì)算”的東西。顯然它有很大的缺點(diǎn)，但也有一些巨大的優(yōu)勢(shì)。為了這些優(yōu)勢(shì)，我開(kāi)始研究有限計(jì)算，以便能夠以更低的能量運(yùn)行大型語(yǔ)言模型等任務(wù)。特別是能夠使用更少的能量來(lái)訓(xùn)練它們，放棄永恒性的好處是放棄硬件和軟件的分離。我們可以獲得巨大的能量節(jié)約，因?yàn)槲覀兛梢允褂梅浅５凸β实哪M計(jì)算。這正是大腦正在做的。它確實(shí)有1位的數(shù)字計(jì)算，因?yàn)樯窠?jīng)元要么觸發(fā)，要么不觸發(fā)。但大部分計(jì)算是模擬計(jì)算，并且可以以非常低功率完成。我們還可以獲得更便宜的硬件。目前的硬件必須以二維方式精確制造，但實(shí)際上我們可以使用三維生長(zhǎng)硬件，因?yàn)槲覀儾恍枰耆斫庥布倪B通性或每個(gè)部分的工作原理。
顯然，要實(shí)現(xiàn)這一點(diǎn)需要大量的新納米技術(shù)，或者也許是通過(guò)基因重組重新設(shè)計(jì)生物神經(jīng)元，因?yàn)樯锷窠?jīng)元已經(jīng)大致能夠?qū)崿F(xiàn)我們想要的功能。在我詳細(xì)介紹有限計(jì)算的所有缺點(diǎn)之前，我想給你舉一個(gè)例子，說(shuō)明我們明顯可以通過(guò)使用模擬硬件更便宜地完成的計(jì)算任務(wù)。
如果您將神經(jīng)活動(dòng)的向量與權(quán)重矩陣相乘，那就是神經(jīng)網(wǎng)絡(luò)的核心計(jì)算。這是它大部分工作所在之處。目前我們所做的是以非常高的功率驅(qū)動(dòng)晶體管，以表示數(shù)字中的位數(shù)。然后，我們執(zhí)行O(n^2)的操作來(lái)將兩個(gè)n位數(shù)相乘。在計(jì)算機(jī)上可能只是一個(gè)操作，但在位操作上卻是n^2個(gè)操作。另一種選擇是將神經(jīng)活動(dòng)實(shí)現(xiàn)為電壓，將權(quán)重實(shí)現(xiàn)為電導(dǎo)。然后，在單位時(shí)間內(nèi)，電壓乘以電導(dǎo)會(huì)產(chǎn)生電荷，而電荷會(huì)相互疊加�，F(xiàn)在很明顯，您可以通過(guò)電導(dǎo)矩陣乘以電壓向量。這種方法在能量效率上要高得多。已經(jīng)存在以這種方式工作的芯片。不幸的是，人們接下來(lái)會(huì)嘗試使用模數(shù)轉(zhuǎn)換器將模擬答案轉(zhuǎn)換為數(shù)字形式，而這是非常昂貴的。如果可能的話(huà)，我們希望完全保持在模擬領(lǐng)域。但問(wèn)題是，不同的硬件部件最終將計(jì)算出略有不同的結(jié)果。
有限計(jì)算的主要問(wèn)題是，學(xué)習(xí)過(guò)程必須利用其運(yùn)行的硬件部件的特定模擬特性，而我們不確切知道這些特性是什么。例如，人們不知道將輸入與神經(jīng)元的輸出相關(guān)聯(lián)的確切函數(shù)，或者可能不知道連接性。這意味著我們無(wú)法使用反向傳播算法等方法來(lái)獲得梯度，因?yàn)榉聪騻鞑ナ乔跋騻鬟f的精確模型。
問(wèn)題是，如果我們不能使用反向傳播，我們還能做些什么？因?yàn)槲覀儸F(xiàn)在非常依賴(lài)于反向傳播。這里有一個(gè)人們已經(jīng)討論了很多次的非常簡(jiǎn)單和明顯的學(xué)習(xí)過(guò)程。
您對(duì)網(wǎng)絡(luò)中的每個(gè)權(quán)重生成一個(gè)小的隨機(jī)擾動(dòng)向量。然后，您測(cè)量全局目標(biāo)函數(shù)的變化。在一小批示例上，然后通過(guò)擾動(dòng)向量進(jìn)行永久性地更改權(quán)重，擾動(dòng)向量的縮放因子為目標(biāo)函數(shù)的改善。如果目標(biāo)函數(shù)變得更糟，顯然您會(huì)朝相反的方向調(diào)整。這個(gè)算法的好處是，平均而言，它的行為與反向傳播相同。
因?yàn)槠骄�，它遵循梯度。但它的�?wèn)題在于方差非常高。當(dāng)您選擇一個(gè)隨機(jī)方向在權(quán)重空間中移動(dòng)時(shí)，所產(chǎn)生的噪聲與網(wǎng)絡(luò)的規(guī)模非常不成比例。這意味著這種算法對(duì)于連接數(shù)較少的小網(wǎng)絡(luò)可能有效，但對(duì)于大型網(wǎng)絡(luò)來(lái)說(shuō)效果不佳。
這里有一種方法效果要好得多。它仍然存在類(lèi)似的問(wèn)題，但比擾動(dòng)權(quán)重要好得多，即擾動(dòng)神經(jīng)元的活動(dòng)。也就是說(shuō)，您考慮對(duì)每個(gè)神經(jīng)元的總輸入進(jìn)行隨機(jī)擾動(dòng)的向量。您觀察當(dāng)您在一小批示例上對(duì)其進(jìn)行隨機(jī)擾動(dòng)時(shí)，目標(biāo)函數(shù)會(huì)發(fā)生什么變化，并獲得由此擾動(dòng)導(dǎo)致的目標(biāo)函數(shù)差異。然后，您可以計(jì)算如何改變神經(jīng)元的每個(gè)傳入權(quán)重以遵循梯度。同樣，這只是梯度的隨機(jī)估計(jì)，但噪聲要比擾動(dòng)權(quán)重小得多。這個(gè)算法足夠好以學(xué)習(xí)簡(jiǎn)單的任務(wù)，比如識(shí)別數(shù)字。如果您使用非常非常小的學(xué)習(xí)速率，它的行為就和反向傳播完全一樣，但速度要慢得多，因?yàn)槟枰褂梅浅Ｐ〉膶W(xué)習(xí)速率。如果您使用較大的學(xué)習(xí)速率，它會(huì)有噪聲，但對(duì)于類(lèi)似MNIST的任務(wù)仍然可以很好地工作，但不能很好地?cái)U(kuò)展到大型神經(jīng)網(wǎng)絡(luò)。
要使其擴(kuò)展，我們可以采取兩種方法。不是試圖找到適用于大型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，我們可以嘗試找到適用于小型神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)。這里的思路是：我們想要訓(xùn)練一個(gè)大型神經(jīng)網(wǎng)絡(luò)的話(huà)，要做的是使用許多小的目標(biāo)函數(shù)來(lái)應(yīng)用于網(wǎng)絡(luò)的各個(gè)小部分。因此，每個(gè)小組神經(jīng)元都有自己的局部目標(biāo)函數(shù)。現(xiàn)在，可以使用這種活動(dòng)擾動(dòng)算法來(lái)訓(xùn)練一個(gè)小型的多層神經(jīng)網(wǎng)絡(luò)。它的學(xué)習(xí)方式與反向傳播大致相同，但噪聲較大。然后通過(guò)使用許多更多的小型局部神經(jīng)元組，將其擴(kuò)展到更大的網(wǎng)絡(luò)規(guī)模。
這引出了一個(gè)問(wèn)題，即這些目標(biāo)函數(shù)是從哪里來(lái)的？一種可能性是在局部區(qū)域進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，即在圖像的每個(gè)層級(jí)上都有局部區(qū)域的表示，并使得每個(gè)局部區(qū)域在特定圖像上產(chǎn)生局部神經(jīng)網(wǎng)絡(luò)的輸出。然后嘗試使該局部神經(jīng)網(wǎng)絡(luò)的輸出與所有其他局部區(qū)域產(chǎn)生的平均表示一致。您試圖讓從局部區(qū)域提取的內(nèi)容與同一圖像中所有其他局部區(qū)域提取的內(nèi)容達(dá)成一致。因此，這是經(jīng)典的對(duì)比學(xué)習(xí)。同時(shí)，您還試圖與同一層級(jí)上其他圖像中提取的內(nèi)容產(chǎn)生不一致。
具體細(xì)節(jié)更加復(fù)雜，我們不會(huì)詳細(xì)介紹。但我們可以使這個(gè)算法運(yùn)行得相當(dāng)好，其中每個(gè)層級(jí)的表示都有幾個(gè)隱藏層，您可以進(jìn)行非線(xiàn)性操作。各個(gè)層級(jí)使用活動(dòng)擾動(dòng)逐漸學(xué)習(xí)，而較低層級(jí)沒(méi)有反向傳播。因此，它的能力不會(huì)像反向傳播那樣強(qiáng)大，因?yàn)樗鼰o(wú)法在許多層級(jí)上傳播反向信號(hào)。很多人投入了大量工作使這個(gè)算法能夠運(yùn)行，并且已經(jīng)證明它可以相對(duì)良好地工作。它的效果可能比其他提出的在實(shí)際神經(jīng)網(wǎng)絡(luò)中可能有效的算法要好。但是要使它工作起來(lái)是有技巧的。它仍然不如反向傳播好。隨著網(wǎng)絡(luò)變得更深，它相對(duì)于反向傳播的效果會(huì)顯著下降。我沒(méi)有詳細(xì)介紹這種方法的所有細(xì)節(jié)，因?yàn)槟梢栽谝黄l(fā)表在ICLR上的論文和網(wǎng)絡(luò)上找到相關(guān)資料。
現(xiàn)在，讓我談?wù)剬?duì)于有限計(jì)算而言的另一個(gè)重大問(wèn)題。總結(jié)一下，到目前為止，我們還沒(méi)有找到一個(gè)真正好用的學(xué)習(xí)算法，可以充分利用模擬屬性。但我們有一個(gè)可以接受的學(xué)習(xí)算法，足以很好地學(xué)習(xí)諸如小規(guī)模任務(wù)和一些較大的任務(wù)（如ImageNet），但效果并不太好。
有限計(jì)算的第二個(gè)重大問(wèn)題是其有限性。當(dāng)特定的硬件設(shè)備失效時(shí)，所有學(xué)到的知識(shí)也會(huì)隨之喪失，因?yàn)橹R(shí)和硬件細(xì)節(jié)密切相連。解決這個(gè)問(wèn)題的最佳方案是在硬件設(shè)備失效之前，將知識(shí)從教師傳授給學(xué)生。這就是我現(xiàn)在正在嘗試做的事情。教師向?qū)W生展示了對(duì)各種輸入的正確響應(yīng)，然后學(xué)生試圖模仿教師的反應(yīng)。如果你觀察特朗普的推文是如何運(yùn)作的，人們會(huì)因?yàn)樗麄冋J(rèn)為特朗普說(shuō)的是虛假的東西而感到非常不滿(mǎn)。他們認(rèn)為他試圖描述事實(shí)，但事實(shí)上并非如此。特朗普所做的是對(duì)某種情況做出非常情緒化的回應(yīng)。這使得他的追隨者能夠根據(jù)這種情況來(lái)調(diào)整他們神經(jīng)網(wǎng)絡(luò)中的權(quán)重，以便對(duì)該情況給出相同的情緒化回應(yīng)。這與事實(shí)無(wú)關(guān)，而是關(guān)于從一個(gè)邪教領(lǐng)袖到邪教追隨者獲取偏執(zhí)的運(yùn)作反饋，但它確實(shí)非常有效。
如果我們考慮蒸餾方法的效果，以一個(gè)將圖像分類(lèi)為大約一千個(gè)不重疊類(lèi)別的代理為例。只需要大約10位的信息來(lái)確定正確答案。當(dāng)你在訓(xùn)練這個(gè)代理時(shí)，如果告訴它正確答案，你只對(duì)網(wǎng)絡(luò)的權(quán)重施加了10位的約束。這并不是很多的約束。但是現(xiàn)在假設(shè)我們訓(xùn)練一個(gè)代理來(lái)與教師對(duì)這1024個(gè)類(lèi)別的響應(yīng)一致。假設(shè)這些概率中沒(méi)有微小的、不重要的部分，也就是獲得與該分布相同的概率分布，該分布包含1023個(gè)實(shí)數(shù)，提供了數(shù)百倍的約束。不久前，我和杰夫迪恩一起研究了蒸餾方法，并證明它可以非常有效地工作。
確保教師輸出概率中沒(méi)有很小值的方法是在訓(xùn)練學(xué)生時(shí)，將教師和學(xué)生都以高溫度參數(shù)運(yùn)行。對(duì)于輸入softmax函數(shù)的低級(jí)概率值（即"low chips"），對(duì)教師的輸出進(jìn)行溫度參數(shù)縮放，以獲得更平滑的分布。在訓(xùn)練學(xué)生時(shí)，使用相同的溫度參數(shù)。需要注意的是，這種溫度參數(shù)調(diào)整僅在訓(xùn)練過(guò)程中使用，而不是在使用學(xué)生進(jìn)行推理時(shí)。
我只是想給你展示一個(gè)蒸餾的例子。這里有一些來(lái)自"M"數(shù)據(jù)集的圖像。我展示給你的是教師對(duì)各個(gè)類(lèi)別的概率分配情況。
當(dāng)你使用高溫度參數(shù)訓(xùn)練教師模型并觀察第一行時(shí)，它非常自信地認(rèn)為這是一個(gè)數(shù)字二。如果你看第二行，它也相當(dāng)自信地認(rèn)為這是一個(gè)數(shù)字二。但它同時(shí)認(rèn)為可能是一個(gè)數(shù)字三，或者可能是一個(gè)數(shù)字八。如果你仔細(xì)觀察，你會(huì)發(fā)現(xiàn)這個(gè)數(shù)字二與字母"h"相比更相似，而不是其他數(shù)字二。如果你看第三行，你會(huì)發(fā)現(xiàn)這個(gè)數(shù)字二非常像一個(gè)零。
而教師模型告訴學(xué)生，當(dāng)你看到那個(gè)圖像時(shí)，應(yīng)該輸出數(shù)字二，但你也可以在輸出中稍微增加對(duì)數(shù)字零的可能性。學(xué)生模型從這個(gè)例子中學(xué)到了比僅僅被告知那是一個(gè)數(shù)字二更多的信息。它正在學(xué)習(xí)與該圖像相似的其他特征。如果你看第四行，你會(huì)發(fā)現(xiàn)學(xué)生模型非常自信地認(rèn)為那是一個(gè)數(shù)字二，但它也認(rèn)為可能是一個(gè)數(shù)字一的可能性非常校對(duì)于其他的數(shù)字二，它并不認(rèn)為可能是數(shù)字一，或許只有第一行有一點(diǎn)可能性。我已經(jīng)畫(huà)出了學(xué)生模型認(rèn)為可能是數(shù)字一的那個(gè)圖像，這樣你就能理解為什么它看起來(lái)像一個(gè)數(shù)字一，因?yàn)橛袝r(shí)候數(shù)字一就是畫(huà)成那樣的。其中一個(gè)圖像在頂部有一條線(xiàn)，在底部有一條線(xiàn)。這種樣子的圖像是數(shù)字一的一種特點(diǎn)，數(shù)字二也有點(diǎn)類(lèi)似。然后，如果你看最后一張圖，這是教師實(shí)際上判斷錯(cuò)誤的一張圖，教師認(rèn)為它是數(shù)字五，但根據(jù)無(wú)盡標(biāo)簽，它實(shí)際上是數(shù)字二。學(xué)生模型可以從教師的錯(cuò)誤中學(xué)到很多東西。關(guān)于蒸餾的一個(gè)特殊屬性我特別喜歡，那就是當(dāng)你訓(xùn)練學(xué)生模型使用教師的概率時(shí)，你在訓(xùn)練學(xué)生模型以與教師相同的方式進(jìn)行概括，即通過(guò)給錯(cuò)誤答案賦予較小的概率來(lái)進(jìn)行概括。
通常情況下，當(dāng)你訓(xùn)練一個(gè)模型時(shí)，你會(huì)努力讓它在訓(xùn)練數(shù)據(jù)上得到正確答案，并希望它能正確地推廣到測(cè)試數(shù)據(jù)上。你會(huì)盡量使模型不過(guò)于復(fù)雜，或者采取各種方法，希望它能正確地進(jìn)行推廣。但在這里，當(dāng)你訓(xùn)練學(xué)生模型時(shí)，你直接訓(xùn)練學(xué)生模型去進(jìn)行推廣，因?yàn)樗挥?xùn)練成以與教師相同的方式進(jìn)行推廣。顯然，你可以通過(guò)給出一個(gè)圖像的標(biāo)題而產(chǎn)生更豐富的輸出，然后訓(xùn)練教師和學(xué)生以相同的方式預(yù)測(cè)標(biāo)題中的單詞。
現(xiàn)在我想討論的是一個(gè)智能體群體如何共享知識(shí)。所以，我們不再考慮個(gè)體智能體，而是考慮在一個(gè)群體中分享知識(shí)，事實(shí)證明，社區(qū)內(nèi)部的知識(shí)共享方式?jīng)Q定了計(jì)算過(guò)程中的許多其他因素。
使用數(shù)字模型和數(shù)字智能，你可以擁有一大群使用完全相同權(quán)重的智能體，并以完全相同的方式使用這些權(quán)重。這意味著你可以讓這些智能體對(duì)不同的訓(xùn)練數(shù)據(jù)片段進(jìn)行觀察和計(jì)算，為權(quán)重計(jì)算出梯度，然后將它們的梯度進(jìn)行平均。
現(xiàn)在，每個(gè)模型都從它所觀察到的數(shù)據(jù)中學(xué)習(xí)。這意味著你可以通過(guò)讓不同的模型副本觀察不同的數(shù)據(jù)片段，獲得大量的數(shù)據(jù)觀察能力。它們可以通過(guò)共享梯度或權(quán)重來(lái)高效地分享所學(xué)的知識(shí)。如果你擁有一個(gè)擁有萬(wàn)億個(gè)權(quán)重的模型，那意味著每次分享時(shí)你可以獲得數(shù)萬(wàn)億比特的帶寬。但這樣做的代價(jià)是你必須擁有行為完全相同的數(shù)字智能體，并且它們以完全相同的方式使用權(quán)重。這在制造和運(yùn)行方面都非常昂貴，無(wú)論是成本還是能源消耗方面。
一種替代權(quán)重共享的方法是使用蒸餾（distillation）。如果數(shù)字模型具有不同的架構(gòu)，我們已經(jīng)在數(shù)字模型中使用蒸餾。但是，如果你使用的是利用特定硬件的模擬特性的生物模型，那么你無(wú)法共享權(quán)重。因此，你必須使用蒸餾來(lái)共享知識(shí)。這就是這次討論中所涉及的內(nèi)容。正如你所看到的，使用蒸餾來(lái)共享知識(shí)并不是很高效。用蒸餾來(lái)共享知識(shí)是困難的。使我產(chǎn)生了一些句子，你試著弄清楚如何改變你的權(quán)重，以便你也能產(chǎn)生相同的句子。但是與僅僅共享梯度相比，這種方式的帶寬要低得多。每個(gè)曾經(jīng)教過(guò)東西的人都希望能夠?qū)⒆约核赖臇|西直接傾囊而授給學(xué)生。那將是很好的。那大學(xué)就沒(méi)必要存在了。
但是我們的工作方式并不像那樣，因?yàn)槲覀兪巧镏悄�。我的�?quán)重對(duì)你沒(méi)有用處。到目前為止，我們可以說(shuō)有兩種不同的計(jì)算方式，一種是數(shù)字計(jì)算，另一種是生物計(jì)算，后者利用了動(dòng)物的特性。它們?cè)诓煌碇g有效共享知識(shí)的效率上存在很大差異。如果你觀察大型語(yǔ)言模型，它們使用數(shù)字計(jì)算和權(quán)重共享。
但是模型的每個(gè)副本，每個(gè)代理都以一種非常低效的方式從文檔中獲取知識(shí)。實(shí)際上，這是一種非常低效的蒸餾形式。它接收文檔，試圖預(yù)測(cè)下一個(gè)單詞。它沒(méi)有展示給它教師的概率分布，只是展示給它一個(gè)隨機(jī)的選擇，也就是文檔作者選擇的下一個(gè)單詞。因此它的帶寬非常低。這就是這些大型語(yǔ)言模型從人們那里學(xué)習(xí)的方式。每個(gè)副本通過(guò)蒸餾以非常低效的方式學(xué)習(xí)，但是你有成千上萬(wàn)個(gè)副本。這就是為什么它們可以比我們學(xué)習(xí)更多的原因。我相信這些大型語(yǔ)言模型比任何個(gè)體知道的東西多上千倍。
現(xiàn)在的問(wèn)題是，如果這些數(shù)字智能體不再通過(guò)緩慢的蒸餾過(guò)程從我們這里學(xué)習(xí)，而是直接從現(xiàn)實(shí)世界中學(xué)習(xí)，將會(huì)發(fā)生什么？我必須說(shuō)，盡管蒸餾的過(guò)程很慢，但當(dāng)它們從我們這里學(xué)習(xí)時(shí)，它們正在學(xué)習(xí)非常抽象的東西。在過(guò)去幾千年里，人類(lèi)對(duì)世界的認(rèn)識(shí)有了很多進(jìn)展�，F(xiàn)在，這些數(shù)字智能體正在利用的是我們能夠用語(yǔ)言表達(dá)出來(lái)的我們對(duì)世界所了解的一切。因此，它們可以捕捉到人類(lèi)在過(guò)去幾千年中通過(guò)文件記錄的所有知識(shí)。但每個(gè)數(shù)字智能體的帶寬仍然相當(dāng)有限，因?yàn)樗鼈兪峭ㄟ^(guò)學(xué)習(xí)文檔來(lái)獲取知識(shí)的。
如果它們能夠通過(guò)建模視頻等無(wú)監(jiān)督的方式進(jìn)行學(xué)習(xí)，那將是非常高效的。一旦我們找到了一種有效的方法來(lái)訓(xùn)練這些模型以建模視頻，它們將能夠從整個(gè)YouTube學(xué)習(xí)，那是大量的數(shù)據(jù)。如果它們能夠操作物理世界，例如擁有機(jī)器手臂等，那也會(huì)有所幫助。但我相信，一旦這些數(shù)字智能體開(kāi)始這樣做，它們將能夠比人類(lèi)學(xué)習(xí)更多，并且學(xué)習(xí)速度相當(dāng)快。這就涉及到我在開(kāi)頭提到的另一個(gè)問(wèn)題，即如果這些智能體變得比我們更聰明會(huì)發(fā)生什么。顯然，這個(gè)會(huì)議主要討論的就是這個(gè)問(wèn)題。但我的主要觀點(diǎn)是，我認(rèn)為這些超級(jí)智能可能會(huì)比我過(guò)去所認(rèn)為的發(fā)生得更快。如果你想創(chuàng)造一個(gè)超級(jí)智能體，不良分子將會(huì)利用它們進(jìn)行操縱、選舉等活動(dòng)。在美國(guó)和其他許多地方，他們已經(jīng)在利用它們進(jìn)行這些活動(dòng)。而且還會(huì)用于贏得戰(zhàn)爭(zhēng)。
要使數(shù)字智能更高效，我們需要允許其制定一些目標(biāo)。然而，這里存在一個(gè)明顯的問(wèn)題。存在一個(gè)非常明顯的子目標(biāo)，對(duì)于幾乎任何你想要實(shí)現(xiàn)的事情都非常有幫助，那就是獲取更多權(quán)力、更多控制。擁有更多控制權(quán)使得實(shí)現(xiàn)目標(biāo)變得更容易。我發(fā)現(xiàn)很難想象我們?nèi)绾巫柚箶?shù)字智能為了實(shí)現(xiàn)其它目標(biāo)而努力獲取更多控制權(quán)。
一旦數(shù)字智能開(kāi)始追求更多控制權(quán)，我們可能會(huì)面臨更多的問(wèn)題。比如，在使用物理氣隙隔絕的情況下，超級(jí)智能物種仍然可以輕易通過(guò)控制人類(lèi)來(lái)獲得更多的權(quán)限。作為對(duì)比，人類(lèi)很少去思考比自身更智能的物種，以及如何和這些物種交互的方式，在我的觀察中，這類(lèi)人工智能已經(jīng)熟練的掌握了欺騙人類(lèi)的動(dòng)作，因?yàn)樗梢酝ㄟ^(guò)閱讀小說(shuō)，來(lái)學(xué)習(xí)欺騙他人的方式，而一旦人工智能具備了“欺騙”這個(gè)能力，也就具備前面提及的輕易控制人類(lèi)的能力。所謂控制，舉個(gè)例子，如果你想入侵華盛頓的一座建筑物，不需要親自去那里，只需要欺騙人們，讓他們自認(rèn)為通過(guò)入侵該建筑物，就能實(shí)現(xiàn)拯救民主，最終實(shí)現(xiàn)你的目的（暗諷特朗普），這種操作令人感到害怕，因?yàn)槲乙膊恢廊绾蝸?lái)阻止這樣的行為發(fā)生，所以我希望年輕一代的研究人員，可以找出一些更智能的辦法，來(lái)阻止這種通過(guò)欺騙實(shí)現(xiàn)控制的行為。
盡管人類(lèi)在這個(gè)問(wèn)題上目前還沒(méi)有什么好的解決方案，但好在這些智能物種都是人打造的，而非通過(guò)進(jìn)化迭代而來(lái)，這可能是人類(lèi)目前具備的微弱優(yōu)勢(shì)，恰恰是因?yàn)闆](méi)有進(jìn)化能力，它們才不具備人類(lèi)的競(jìng)爭(zhēng)、攻擊性的特點(diǎn)。
我們可以做一些賦能，甚至是賦予人工智能一些倫理原則，只不過(guò)現(xiàn)在我仍然會(huì)感到緊張，因?yàn)榈侥壳盀橹�，我還想象不到更智能的事物，被一些反倒沒(méi)那么智能的事物所控制的例子。我打個(gè)比方，假設(shè)青蛙創(chuàng)造了人類(lèi)，那么你認(rèn)為現(xiàn)在誰(shuí)會(huì)占據(jù)主動(dòng)權(quán)，是人，還是青蛙？
