新智元報(bào)道
編輯：編輯部
【新智元導(dǎo)讀】近日，吳恩達(dá)與AI教父Geoffrey Hinton針對(duì)近來甚囂塵上的「AI安全」進(jìn)行了深入對(duì)話。他們認(rèn)為當(dāng)務(wù)之急是達(dá)成共識(shí)。
近來，AI安全已成為高度命中的話題。
AI「教父」Geoffrey Hinton和吳恩達(dá)就人工智能和災(zāi)難性風(fēng)險(xiǎn)進(jìn)行了一次深度的隔空對(duì)話。
吳恩達(dá)今日發(fā)文分享了他們的共同想法：
- 人工智能科學(xué)家對(duì)風(fēng)險(xiǎn)達(dá)成共識(shí)很重要。類似于氣候科學(xué)家，他們對(duì)氣候變化有大致的共識(shí)，所以能制定良好的政策。
- 人工智能模型是否了解這個(gè)世界？我們的答案是肯定的。如果我們列出這些關(guān)鍵技術(shù)問題，并形成共同觀點(diǎn)，將有助于推動(dòng)人類在風(fēng)險(xiǎn)方面達(dá)成共識(shí)。
Hinton表示，
我以前經(jīng)常和吳恩達(dá)進(jìn)行交談，很高興再次見面，并了解到他對(duì)人工智能最近發(fā)展所帶來的各種風(fēng)險(xiǎn)的看法。我們?cè)诤芏嗍虑樯线_(dá)成了共識(shí)，特別是，研究人員需要對(duì)風(fēng)險(xiǎn)達(dá)成共識(shí)，以告知政策制定者。
在此之前，吳恩達(dá)同樣和Yoshua Bengio進(jìn)行了人工智能風(fēng)險(xiǎn)的對(duì)話。
他們得出的一致意見是，闡明AI可能帶來重大風(fēng)險(xiǎn)的具體場(chǎng)景。
接下來，一起來看看兩位AI大佬都具體討論了什么。
急需共識(shí)！
首先，Hinton提出，最重要的是共識(shí)。
他表示，現(xiàn)在整個(gè)AI社群缺乏一種統(tǒng)一的共識(shí)。就像氣候科學(xué)家達(dá)成的共識(shí)一樣，AI科學(xué)家同樣需要。
在Hinton看來，之所以我們需要一個(gè)共識(shí)，是因?yàn)槿绻麤]有的話，每個(gè)AI科學(xué)家各執(zhí)一詞，那么政府和政策制定者就可以隨心從其中選擇一個(gè)符合自身利益的觀點(diǎn)作為指導(dǎo)。
這顯然會(huì)失去公允性。
而從目前的情況來看，AI科學(xué)家之間的不同觀點(diǎn)差異化很大。
Hinton認(rèn)為，如果我們各執(zhí)一詞的局面能快點(diǎn)過去，大家都能達(dá)成一致，共同接受AI可能帶來的某些主要威脅，認(rèn)識(shí)到規(guī)范AI發(fā)展的緊迫性，就好了。
吳恩達(dá)贊成Hinton的觀點(diǎn)。
雖說他現(xiàn)在還不覺得AI界差異化大到分裂，但好像在慢慢往那個(gè)方向演變。
主流AI界的觀點(diǎn)非常兩極分化，各陣營(yíng)之間都在不遺余力地表達(dá)訴求。不過在吳恩達(dá)看來，這種表達(dá)更像一種爭(zhēng)吵，而不是和諧的對(duì)話。
當(dāng)然，吳恩達(dá)對(duì)AI社群還是有些信心的，他希望我們能共同找到一些共識(shí)，妥善進(jìn)行對(duì)話，這樣才能更好地幫助政策制定者制定相關(guān)計(jì)劃。
接下來，Hinton聊到了另一個(gè)關(guān)鍵問題，也是他認(rèn)為目前AI科學(xué)家們難以達(dá)成某個(gè)共識(shí)的原因像GPT-4和Bard這種聊天機(jī)器人，究竟理不理解他們自己生成的話？
有些人認(rèn)為AI懂，有些人認(rèn)為它們不懂，只是隨機(jī)鸚鵡罷了。
Hinton認(rèn)為，只要這種差異還存在，那么AI界就很難達(dá)成一個(gè)共識(shí)。因此，他認(rèn)為當(dāng)務(wù)之急就是厘清這個(gè)問題。
當(dāng)然，就他自己來講肯定是認(rèn)為AI懂的，AI也并不只是統(tǒng)計(jì)數(shù)據(jù)。
他也提到了諸如Yan LeCun等知名科學(xué)家認(rèn)為AI并不能理解。
這更加凸顯了在這個(gè)問題上調(diào)和清楚地重要性。
吳恩達(dá)表示，判斷AI究竟是否能理解并不簡(jiǎn)單，因?yàn)楹孟癫⒉淮嬖谝粋�(gè)標(biāo)準(zhǔn)，或者某種測(cè)試。
他自己的觀點(diǎn)是，他認(rèn)為無論是LLM也好，其它AI大模型也罷，都是在構(gòu)建一種世界模型。而AI在這個(gè)過程中可能會(huì)有些理解。
當(dāng)然，他說這只是他目前的觀點(diǎn)。
除此以外，他同意Hinton的說法，研究人員必須先就這個(gè)問題達(dá)成一致，才能繼續(xù)聊后面的風(fēng)險(xiǎn)、危機(jī)那堆東西。
Hinton接著表示，AI根據(jù)數(shù)據(jù)庫，通過前面的單詞判斷、預(yù)測(cè)下一個(gè)單詞的生成，這件事在Hinton眼中就是理解的一種。
他認(rèn)為這和我們?nèi)四X思考的機(jī)制其實(shí)差不了多少。
當(dāng)然，究竟算不算理解還需要進(jìn)一步的討論，但最起碼不是隨機(jī)鸚鵡那么簡(jiǎn)單。
吳恩達(dá)認(rèn)為，有一些問題會(huì)讓持不同觀點(diǎn)的人得出不同的結(jié)論，甚至推出AI將會(huì)滅絕人類。
他表示，想要更好地理解AI，我們需要更多去了解，更多去討論。
這樣才能建設(shè)一個(gè)包含著廣泛共識(shí)的AI社群。
LeCun雙手贊成，再提「世界模型」
前段時(shí)間，在全世界呼吁暫停超強(qiáng)AI研發(fā)期間，吳恩達(dá)與LeCun開直播就此話題展開了討論。
他們同時(shí)反對(duì)暫停AI是完全錯(cuò)誤的，汽車剛發(fā)明時(shí)沒有安全帶和交通信號(hào)燈，人工智能與先前的技術(shù)進(jìn)步之間沒有本質(zhì)上的差異。
這次，LeCun就吳恩達(dá)和Hinton對(duì)話，再次提出了自己的「世界模型」，以及當(dāng)前人工智能連阿貓阿狗都不如。
我們都同意，我們需要在一些問題上達(dá)成共識(shí)。
我同意Geoffrey Hinton說的，即LLM有「某種程度」的理解力，還有稱它們「只是統(tǒng)計(jì)數(shù)據(jù)」是一種誤導(dǎo)。
LLM對(duì)世界的理解是非常膚淺的，很大程度上，是因?yàn)樗鼈兗兇馐窃谖谋旧嫌?xùn)練的。
從視覺中學(xué)習(xí)世界如何運(yùn)作的系統(tǒng)，將對(duì)現(xiàn)實(shí)有更深刻的理解。其次，自回歸LLM的推理和規(guī)劃能力非常有限。
我認(rèn)為，如果沒有（1）從視頻等感官輸入中學(xué)習(xí)「世界模型」，（2）一個(gè)能夠推理和規(guī)劃的架構(gòu)（不僅僅是自回歸），我們不可能接近人類水平的人工智能（甚至是貓級(jí)人工智能）。
現(xiàn)在，如果我們有能夠規(guī)劃的架構(gòu)，它們將是「目標(biāo)驅(qū)動(dòng)的」：它們的規(guī)劃將通過在推理時(shí)（不僅僅是訓(xùn)練時(shí)）優(yōu)化一組目標(biāo)來工作。
這些目標(biāo)可以包括使這些系統(tǒng)安全和順從的「護(hù)欄」，即使它們最終擁有比人類更好的世界模型。
然后，問題變成了設(shè)計(jì)（或訓(xùn)練）好的目標(biāo)函數(shù)，以保證安全和效率。這是一個(gè)困難的工程問題，但并不像有些人說的那樣難。
LeCun的觀點(diǎn)立馬遭到了網(wǎng)友的反駁：感官對(duì)人工智能理解的重要性被高估了。
無論如何，我們所有的感官都簡(jiǎn)化為電化學(xué)信號(hào)，供大腦處理。
文本攝取是一種元感覺，可以描述來自觸覺、視覺、嗅覺的信息……攝取大量元感官文本，已經(jīng)讓像必應(yīng)（Sydney版）這樣的LLM有能力，以一種優(yōu)于多數(shù)人的方式表達(dá)生活和世界。
因此，我認(rèn)為一種重要的理解能力已經(jīng)存在，盡管時(shí)隱時(shí)現(xiàn)。而且更多地是由于資源限制，以及處理人員有意設(shè)置的沙盒，而不是缺乏感官數(shù)據(jù)。
我認(rèn)為是時(shí)候團(tuán)結(jié)起來，為社會(huì)和人工智能的進(jìn)步而努力了。想想吧，你還是baby人工智能。我們難道不想教那個(gè)孩子如何成為技術(shù)有機(jī)的統(tǒng)一者，而不是世界上的野獸主義者？
當(dāng)他變得有知覺時(shí)，他們不僅會(huì)更快樂，而且世界也不會(huì)陷入戰(zhàn)爭(zhēng)。看看泰恩河畔的紐卡斯?fàn)�。如此短暫的和平時(shí)期，但創(chuàng)造的美麗是偉大的。
而吳恩達(dá)和Hinton所說的共識(shí)，目前來看似乎不太可能。不是你我個(gè)人能力所及，需要所有人有這樣的意愿。
還有網(wǎng)友稱，這是相當(dāng)有爭(zhēng)議的談話。
我確實(shí)想知道，當(dāng)我教2歲的孩子說話時(shí)，他的行為更像隨機(jī)鸚鵡，還是真的理解上下文？或者兩者兼而有之？
因?yàn)樗纳舷挛南蛄勘萀LM豐富得多（文本、語氣、面部表情、環(huán)境等）。但是我確實(shí)想知道，如果一個(gè)人關(guān)閉了另一個(gè)人的所有感官，唯一可用的輸入是一些「文本嵌入」（文本輸入->神經(jīng)刺激），那個(gè)人會(huì)表現(xiàn)得更像隨機(jī)鸚鵡，還是能理解上下文？
Hinton：超級(jí)AI比預(yù)期來得快
離職谷歌后的Hinton，已經(jīng)全身心投入AI安全。6月10日，Hinton在智源大會(huì)上再次談及AI風(fēng)險(xiǎn)。
如果一個(gè)大型神經(jīng)網(wǎng)絡(luò)能夠模仿人類語言獲取知識(shí)，甚至可以自取自用，會(huì)發(fā)生什么？
毋庸置疑，因?yàn)槟軌颢@取更多的數(shù)據(jù)，這個(gè)AI系統(tǒng)肯定要超越人類。
最壞的情況便是，不法分子會(huì)利用超級(jí)智能操縱選民，贏得戰(zhàn)爭(zhēng)。
另外，如果允許超級(jí)AI自己制定子目標(biāo)，一個(gè)子目標(biāo)是獲得更多權(quán)力，這個(gè)超級(jí)AI就會(huì)為了達(dá)成目標(biāo)，操縱使用它的人類。
值得一提的是，這樣超級(jí)AI的實(shí)現(xiàn)，便可通過「凡人計(jì)算」（mortal computation）。
2022年12月，Hinton曾發(fā)表的一篇論文The Forward-Forward Algorithm: Some Preliminary Investigations在最后一節(jié)提到了「凡人計(jì)算」。
論文地址：https://arxiv.org/pdf/2212.13345.pdf
如果你希望萬億參數(shù)神經(jīng)網(wǎng)絡(luò)只消耗幾瓦特的電，「凡人計(jì)算」可能是唯一的選擇。
他表示，如果我們真的放棄軟件和硬件的分離，我們就會(huì)得到「凡人計(jì)算」。由此，我們可以使用非常低功耗的模擬計(jì)算，而這正是大腦正在做的事情。
「凡人計(jì)算」能夠?qū)崿F(xiàn)將人工智能與硬件緊密結(jié)合的新型計(jì)算機(jī)。
這意味著，未來將GPT-3放入烤面包機(jī)中，只需1美元，耗電只需幾瓦。
因此，凡人計(jì)算的主要問題是，學(xué)習(xí)過程必須利用它所運(yùn)行的硬件的特定模擬屬性，而無需確切知道這些屬性是什么。
比如，不知道將神經(jīng)元的輸入與神經(jīng)元的輸出相關(guān)聯(lián)的確切函數(shù)，并且可能不知道連接性。
這也就是說，我們不能使用反向傳播算法之類的東西來獲得梯度。
所以問題是，如果我們不能使用反向傳播，我們還能做什么，因?yàn)槲覀儸F(xiàn)在都高度依賴反向傳播。
就此，Hinton提出了一種解決辦法：前向算法。
而前向算法是一種有前途的候選算法，盡管它在大型神經(jīng)網(wǎng)絡(luò)中的擴(kuò)展能力還有待觀察。
在Hinton看來，人工神經(jīng)網(wǎng)絡(luò)很快要比真實(shí)神經(jīng)網(wǎng)絡(luò)更智能，而超級(jí)智能將會(huì)比預(yù)期快得多。
由此，現(xiàn)在世界需要達(dá)成一個(gè)共識(shí)，AI未來還應(yīng)該由人類攜手創(chuàng)造。
參考資料：
https://twitter.com/andrewyng/status/1667920020587020290?s=46&t=iBppoR0Tk6jtBDcof0HHgg
https://twitter.com/ylecun/status/1667947166764023808?s=46&t=iBppoR0Tk6jtBDcof0HHgg
