《AI未來指北》欄目由科技新聞推出，邀約全球業(yè)內(nèi)專家、創(chuàng)業(yè)者、投資人，探討AI領(lǐng)域的技術(shù)發(fā)展、商業(yè)模式、應(yīng)用場景、倫理及版權(quán)爭議。
作者：城主 | 編輯：科技新聞 郝博陽
編者導(dǎo)語：
在過去一段時(shí)間內(nèi)，我們聽到了辛頓對AI發(fā)展的憂慮和楊立昆對AI影響一貫的樂觀主義發(fā)言。但同為AI三巨頭之一的約書亞本吉奧雖然一早就通過簽署暫停AI宣言表達(dá)了他對AI目前在缺乏監(jiān)管之下狂飆的反對，但很少出現(xiàn)在大眾視野中做深入的探討。
在5月24日加拿大蒙特利爾的C2論壇上，兩位AI憂慮派棋手--本吉奧和赫拉利聯(lián)袂出場，獻(xiàn)上了一場關(guān)于AI潛在風(fēng)險(xiǎn)的二重唱。也讓我們可以一窺本吉奧的真實(shí)立常
與上一次赫拉利高屋建瓴的對AI和人類社會(huì)的底層影響闡述不同，他們兩人這次把視野放在了與我們生活更加息息相關(guān)的事物上，對 “AI時(shí)代，誰將決定的生活” 這個(gè)問題進(jìn)行了連續(xù)的發(fā)問。從大尺度的歷史對比 “工業(yè)革命我們可以有幾代人的時(shí)間糾錯(cuò)，但AI革命不會(huì)給我們第二次機(jī)會(huì)”， 到地緣變化 “AI帶來的技術(shù)壟斷可能帶來一次新的數(shù)字殖民”，再到 “AI替代工作說來簡單，但再技能訓(xùn)練的成本無人承擔(dān)” ，對我們每個(gè)人的切膚問題都進(jìn)行了探討。
在討論中，作為AI頂級專家的本奧吉表達(dá)了五年之內(nèi)AI就可能帶來天翻地覆社會(huì)變化的擔(dān)憂，使這些提出的問題更加迫在眉睫。
他們把解決這個(gè)問題的責(zé)任提給了我們每個(gè)人：“如果我們花在開發(fā)、理解和發(fā)展我們自己的思想上的時(shí)間，與我們花在開發(fā)人工智能上的時(shí)間一樣多，我們就會(huì)安全。”
（注：Yoshua Bengio 約書亞本吉奧，被公認(rèn)為人工智能研究與發(fā)展的領(lǐng)先先驅(qū)之一, 他是蒙特利爾大學(xué)的教授，也是Mila-魁北克人工智能研究所的創(chuàng)始人兼科學(xué)總監(jiān)。Yuval Noah Harari 赫拉利，則是《人類簡史》《未來簡史》的作者）
完整版視頻：
b站傳送門：【精校完整版】Yoshua教授和人類簡史作者赫拉利: AI如何影響人類社會(huì)-嗶哩嗶哩】
https://b23.tv/Cw5bjCS
----------------------
主持人：
我的名字是瓦西卡佩洛斯 我非常關(guān)注政治，所以這將成為與本吉奧教授和赫拉利教授討論的一部分，歡迎交流，很高興赫拉利教授你今天下午加入我們。
Harari：
謝謝，讓我向你保證，我不是Deepfake或人工智能。
主持人：
這是一個(gè)讓人放松的發(fā)現(xiàn)。（笑）
我想從這里展開討論，首先，現(xiàn)在AI有一些潛在的積極方面；但你們認(rèn)為人工智能構(gòu)成了威脅。赫拉利教授，今天下午您將如何為我們的聽眾簡潔地描述這種威脅？
Harari：
好吧，關(guān)于人工智能，有兩件事需要了解 ：它是歷史上第一個(gè)可以自己做決定的技術(shù)，也是歷史上第一個(gè)可以自己創(chuàng)造想法的技術(shù)。
現(xiàn)在很多人都試圖讓我們冷靜下來，告訴我們每次出現(xiàn)新技術(shù)時(shí)，人們都會(huì)害怕后果。但最終，我們還是會(huì)好起來。
但這（AI）與我們在歷史上見過的任何事情都不一樣。要知道，無論是石刀還是原子彈，以前所有的工具都賦予了我們力量，因?yàn)楸仨氂扇祟悂頉Q定如何使用炸彈。但是人工智能可以自己做出決定，所以它可能會(huì)奪走我們的力量。
其次，歷史上所有的信息技術(shù)，都只能復(fù)制或傳播人類的思想。就像印刷機(jī)可以印圣經(jīng)，但不能寫圣經(jīng)，也不能寫圣經(jīng)注釋。ChatGPT 可以寫作，可以對圣經(jīng)或其他任何事物進(jìn)行全新的評論，它甚至有可能在未來為未來的宗教創(chuàng)造新的圣典。
要知道，人類總是幻想著從超人的智慧中得到他們的圣典，現(xiàn)在它正在成為可能。
現(xiàn)在這種力量有很多正面的用法，但是也有很多負(fù)面的用法，而且，它與我們之前遇到的任何事情都有根本的不同，因?yàn)樗梢詩Z走我們的力量。
主持人：
本吉奧教授，您如何看待 AI 在這個(gè)時(shí)刻構(gòu)成的根本威脅？
Bengio：
好吧，AI是有很多威脅。但我最關(guān)心的兩個(gè)最重要的威脅是在短期內(nèi)，而且可能會(huì)在下一次美國大選時(shí)，從我們一直談?wù)摰拇笮驼Z言模型中派生出來的工具能被用于宣傳、傳播虛假信息、還是以個(gè)性化的方式去說服您給您本不想投的人投票。
第二個(gè)威脅可能會(huì)在幾年后，也許十年后出現(xiàn)，這很難說：如果我們填補(bǔ)空白，彌合人工智能的當(dāng)前技術(shù)水平與人類在智能方面的能力的差距，使我們制造的機(jī)器至少會(huì)像我們一樣聰明。但是由于AI可以訪問所有數(shù)據(jù)，由于數(shù)字通信、帶寬和各種優(yōu)勢，它們會(huì)自動(dòng)具有優(yōu)勢，讓他們比人類更快地獲取信息，在他們自己之間分享信息。這讓我思考，即使我們只賦予它們我們自己同等水平的智慧，它們也會(huì)變得比人類更聰明。我們已經(jīng)看到像 ChatGPT 這樣的東西，在某些方面它們比我們更聰明，它們知道更多的東西，但它們在其他方面也更愚蠢。
主持人：
讓我快速跟進(jìn)一下。歸根結(jié)底，如果他們能夠比我們更聰明，那會(huì)構(gòu)成什么威脅？這種威脅是存在的嗎 ？
Bengio：
是的。
主持人：
這（具體）是指什么？不是要讓這里的每個(gè)人都沮喪，它也許會(huì)帶來些壓力，但是......
Bengio：
好吧，有很多未知數(shù)。
Geoferry Hinton 使用了其他人也使用過的這個(gè)類比，想象一下我們創(chuàng)造了一個(gè)新物種，這個(gè)物種比我們聰明，就像我們比老鼠或青蛙之類的東西聰明一樣。我們對青蛙好嗎？
主持人：
這是我們一直問自己的一個(gè)問題。
Harari 教授，我想讓你也參與進(jìn)來，因?yàn)槟阋呀?jīng)寫了很多關(guān)于人工智能對民主的威脅和反對的文章，而且在近期還會(huì)寫更多。您是否擔(dān)憂潛在的長期威脅，因?yàn)檫@個(gè)威脅是在本質(zhì)上存在的？
Harari：
是的，絕對是。還有一些非常重要的短期威脅，比如民主的崩潰……（網(wǎng)絡(luò)中斷）它發(fā)展并變得比我們更聰明，那么我完全同意青蛙的類比。這對我們來說不是好兆頭。
主持人：
我們只是，你在那兒（網(wǎng)絡(luò)）定住了一秒鐘，所以我們只聽到了結(jié)尾。
Harari：
我說我同意青蛙的比喻，另一種思考方式是我們的 AI...比生物進(jìn)化快得多。我的意思是，如果今天的 AI 就像變形蟲，那么想象一下 T-Rex（霸王龍） 會(huì)是什么樣子，不需要數(shù)十億年就可以實(shí)現(xiàn)，我們可以在幾年內(nèi)發(fā)展到這種地步。
主持人：
好吧，實(shí)際上，我認(rèn)為你跟進(jìn)了一個(gè)很好的觀點(diǎn)，本吉奧教授，因?yàn)槲矣X得作為一個(gè)普通人，而不是像你這樣的專家，聽到這些東西是非�？膳碌摹Ｔ谀愕哪X海中有沒有附上時(shí)間表？
我想我問這個(gè)問題不是為了進(jìn)一步或放大這些恐懼，而是讓我們圍繞如何減輕這些可能性展開對話，對吧？
Bengio：
是的。
主持人：
政策制定者必須以多快的速度做出回應(yīng)？你在考慮什么樣的時(shí)間表？
Bengio：
所以問題是時(shí)間表有很多不確定性。
可能只需要幾年時(shí)間，我們就至少可以掌握構(gòu)建與我們一樣智能并因此比我們更聰明的機(jī)器的原理；也有可能得需要幾十年。
由于存在這種不確定性，我認(rèn)為我們集體，尤其是我們的政府有責(zé)任為最壞的情況做好準(zhǔn)備，至少是最壞的情況，可能是五年，我不知道...
重要的是，尤瓦爾（赫拉利教授） 經(jīng)常談到這一點(diǎn)，就是過渡。我們?nèi)绾未_保我們的適應(yīng)速度足夠快？所以如果它在幾十年后到來，也許我們有機(jī)會(huì)適應(yīng)社會(huì)；如果五年后到來，似乎沒有希望了，對吧？
那么我們可以做些什么來減緩更危險(xiǎn)的事情呢？我們?nèi)绾伪M快開始設(shè)置正確的護(hù)欄，以最大限度地減少我們今天一直在談?wù)摰乃酗L(fēng)險(xiǎn)？
主持人：
赫拉利教授，你們都是一封信的簽署人，這封信本質(zhì)上是詢問支持這項(xiàng)技術(shù)開發(fā)的公司，以回應(yīng)本吉奧教授剛剛提出的暫停他們正在做的事情。
我想，那封信只是讓這一切討論有了更高的公眾認(rèn)知水平，那封信確實(shí)起到了作用。
為什么把你的名字附在上面對你很重要？
Harari：
因?yàn)檫@（AI）確實(shí)是對人類的生存風(fēng)險(xiǎn)，而我們最需要的是時(shí)間。人類社會(huì)具有極強(qiáng)的適應(yīng)性,我們很擅長（適應(yīng)），但這需要時(shí)間。
例如，如果你看看上一次我們經(jīng)歷了一場重大的技術(shù)革命，即工業(yè)革命，我們花了好幾代人的時(shí)間才弄清楚如何建立相對良好的工業(yè)社會(huì)。在這個(gè)過程中，我們進(jìn)行了一些糟糕的實(shí)驗(yàn)，關(guān)于如何建立工業(yè)社會(huì)的失敗實(shí)驗(yàn)。
而現(xiàn)在我們面對的是比我們在工業(yè)革命中發(fā)明的火車、無線電和電力更強(qiáng)大的東西。我認(rèn)為肯定有一種方法可以用人工智能建立良好的社會(huì)，但這需要時(shí)間，我們需要確保我們不會(huì)再做這樣失敗的實(shí)驗(yàn)，因?yàn)槿绻覀儸F(xiàn)在用這種技術(shù)來做那樣的實(shí)驗(yàn)，我們就沒有第二次機(jī)會(huì)了。
我們將無法生存。
我們之所以能在工業(yè)革命的失敗實(shí)驗(yàn)中幸存下來，只是因?yàn)榧夹g(shù)還不足以摧毀我們，所以我們必須非常小心，我們需要放慢速度。
主持人：
在面對像約書亞教授剛剛提出的巨大問題時(shí)，企業(yè)或社會(huì)會(huì)有反應(yīng)，然后政府也會(huì)有反應(yīng)。
這封信有點(diǎn)針對這兩者，但（其內(nèi)容）主要是要求這背后的公司暫停。
當(dāng)你簽它的時(shí)候，你認(rèn)為他們會(huì)嗎？
Bengio：
不。（觀眾笑）
主持人：
謝謝你說清楚。為什么不？
Bengio：
正如尤瓦爾所說，我們建立的激勵(lì)制度對我們的工業(yè)社會(huì)和我們的自由民主國家來說相當(dāng)有效，它是建立在競爭的基礎(chǔ)上的。如果他們不玩那個(gè)游戲，公司將無法生存，因?yàn)榱硪粋�(gè)公司會(huì)取代它們。
這些公司中也有一些人可能認(rèn)為道德和社會(huì)價(jià)值觀很重要，所以他們會(huì)緩和一點(diǎn)利潤最大化的動(dòng)機(jī)。但（競爭和利潤）仍然是一個(gè)非常強(qiáng)大的（動(dòng)力）。
就我而言，這封信不是我寫的，我簽了字。
我認(rèn)為這是引起公眾和政府對問題的關(guān)注的好方法，甚至公司內(nèi)部的人在這封信之后也一直在閉門討論。所以它在這個(gè)意義上起作用了，這就是我簽署它的真正原因。
主持人：
赫拉利教授，您在簽署時(shí)是否認(rèn)為任何人都會(huì)暫停一下？
Harari：
出于（和本吉奧講的）同樣的原因，公司不會(huì)。但我們希望至少引起公眾和政府的注意。
因?yàn)闅w根結(jié)底，監(jiān)管這種非常危險(xiǎn)的發(fā)展是政府的責(zé)任。不幸的是，我們近年來看到的是相關(guān)的政治討論并不存在。
如果你看看政客們、政黨正在談?wù)摰闹饕螁栴}，他們根本就沒有談?wù)撨@個(gè)。這應(yīng)該是現(xiàn)在每場競選活動(dòng)中的首要問題之一。
因?yàn)椋僖淮螐?qiáng)調(diào)，這不僅僅是（在遠(yuǎn)處）存在的危險(xiǎn)，這也是日常生活中切身的問題，這涉及到我們的工作，是誰在為我們的生活做決定。
您向銀行申請貸款，越來越多的是人工智能在為你做決定；你申請大學(xué)，您向雇主申請工作，越來越多的是人工智能做出決定。你甚至無法理解，如果他們拒絕你，他們?yōu)槭裁淳芙^你。
這應(yīng)該再次成為我們政治優(yōu)先事項(xiàng)的重中之重，至少我希望這封信有助于將這個(gè)問題推向關(guān)注的中心。我很高興看到它至少在某種程度上取得了成功。
主持人：
本吉奧教授，您是否同意目前圍繞這個(gè)議題存在政治問題？
Bengio：
是的。
大多數(shù)情況下，政治家都想談?wù)摲e極的事情。實(shí)際上，我認(rèn)為很多 AI 專家也是如此，他們想要堅(jiān)持 AI 好的一面。
但是，我的意思是，生活就是它的本來面目，我們需要越早面對危險(xiǎn)越好。
所以我認(rèn)為政客們需要時(shí)間來接受他們在這里負(fù)有責(zé)任，不僅僅是考慮人工智能的經(jīng)濟(jì)利益或醫(yī)療保健等方面的利益，而且他們有責(zé)任保護(hù)公眾免受短期和長期風(fēng)險(xiǎn)。
主持人：
Harari教授，媒體有責(zé)任向政治家提出這個(gè)問題，我所做的工作也有一些責(zé)任。
不過，我認(rèn)為，這封信和杰弗里辛頓 (Geoffrey Hinton) 站出來說出他的所作所為的結(jié)果，似乎的確提高了人們關(guān)于我們目前處境的認(rèn)識(shí)。
在美國，政客們舉行了國會(huì)聽證會(huì)。甚至在那次聽證會(huì)上，OpenAI 的幕后推手塞繆爾奧特曼 (Samuel Altman) 基本上還是懇求當(dāng)?shù)卣驼韺θ斯ぶ悄苓M(jìn)行更多監(jiān)管。
你認(rèn)為這有多重要？
Harari：
我認(rèn)為這是非常重要的。同樣，我們需要盡快完成。
當(dāng)我們談?wù)摫O(jiān)管時(shí)，我們需要區(qū)分監(jiān)管人工智能的發(fā)展、實(shí)驗(yàn)室研究等，以及監(jiān)管在公共領(lǐng)域的部署。
而且我認(rèn)為更緊迫，也更容易規(guī)范的是(AI的公開)部署。
我們需要制定一些非常簡單的規(guī)則。
例如，人工智能不能偽造人類。如果你正在與某人交談，你需要知道它是人還是人工智能。如果我們不這樣做，那么公共對話就會(huì)崩潰，民主就無法生存。
這只是常識(shí)。幾千年來，我們都有禁止偽造貨幣的法律，否則，金融體系就會(huì)崩潰。
盡管今天偽造貨幣很容易，但人們還是不敢這樣做，因?yàn)樗麄儞?dān)心自己會(huì)被判入獄 20 年。我們需要關(guān)于偽裝人類或偽造人類的同類法律。
同樣，就像你不能在沒有通過安全檢查和獲得批準(zhǔn)的情況下，向公共領(lǐng)域發(fā)布強(qiáng)大的新藥或車輛一樣，人工智能也應(yīng)該如此。你在實(shí)驗(yàn)室開發(fā)了一些東西沒關(guān)系，在你可以將它部署到公共領(lǐng)域并對社會(huì)產(chǎn)生潛在的巨大影響之前，它必須經(jīng)過類似的安全檢查過程。
主持人：
本吉奧教授，您現(xiàn)在是否會(huì)將（AI）事物的部署，描述為不受管制的領(lǐng)域？
Bengio：
嗯，不完全是。因?yàn)槲覀冇嘘P(guān)于數(shù)據(jù)的法律，我們有關(guān)于通信的法律，但它們并不是為了解決我們正在談?wù)摰囊恍﹩栴}而設(shè)計(jì)的。
因此，例如，據(jù)我所知，目前沒有什么可以反對假冒人類。
有趣的是，這個(gè)偽造的例子，因?yàn)閾?jù)我所知，偽造貨幣受到非常非常嚴(yán)厲的懲罰，因?yàn)椋▊卧斓模┦找嫒绱酥撸艺J(rèn)為這（AI和偽幣制造）很相似。
關(guān)于這些事情的監(jiān)管，有一件事讓我擔(dān)心事情在美國的發(fā)展方式。我認(rèn)為我們需要監(jiān)管機(jī)構(gòu)具有很大的靈活性。
加拿大議會(huì)現(xiàn)在在討論一項(xiàng)法案，它就具有這種結(jié)構(gòu)，其中法律是基于原則的，它甚至規(guī)定了人工智能和這樣做的公司應(yīng)該遵循的道德原則，細(xì)節(jié)和規(guī)則則留給政府機(jī)構(gòu)去完善。
這很好，因?yàn)檫@個(gè)領(lǐng)域發(fā)展得太快了，我們現(xiàn)在能想到的惡意用戶，也許六個(gè)月后他們會(huì)有所不同�？茖W(xué)在發(fā)展，技術(shù)在發(fā)展，市場也在發(fā)展，我們需要政府提供更多的靈活性，而這不是他們所認(rèn)可的。
主持人：
這不是他們的強(qiáng)項(xiàng)。
Bengio：
是的，我知道。
在美國，我的理解是，在過去的幾年里，政府已經(jīng)放棄了這種基于原則的立法，在這種立法中，你將權(quán)力下放給某個(gè)機(jī)構(gòu)，而試圖讓國會(huì)記錄所有內(nèi)容，因?yàn)樗麄儾幌虢o予某些政府機(jī)構(gòu)任何形式的控制權(quán)，尤其是共和黨人。這可能是有效政府干預(yù)的一大障礙。
主持人：
Harari 教授，您如何描述有效的政府干預(yù)？您已經(jīng)談到了一些他們可以為部署引入的簡單內(nèi)容。還有什么？
Harari：
是的，還有一件事：他們可以引入低技術(shù)要求。比如如果你想擁有一個(gè)社交媒體賬戶，你必須去一些石頭做的辦公室并在一張紙上簽名。（觀眾笑）
現(xiàn)在，它非常低效，但低效是一個(gè)特性，而不是一個(gè)錯(cuò)誤。
我們可以用其他東西來實(shí)施，護(hù)照，駕駛執(zhí)照...社交媒體的通行證也可以，你需要通過這個(gè)低技術(shù)操作，這將立即擺脫社交媒體上幾乎所有的機(jī)器人。
回到民主崩潰的問題，我認(rèn)為引入這種低技術(shù)需求會(huì)立即擺脫大部分機(jī)器人并幫助我們拯救民主。
我們應(yīng)該記住的是，我們現(xiàn)在在美國等國家、我的國家以色列都面臨著一個(gè)悖論，我們擁有歷史上最先進(jìn)、最強(qiáng)大的信息技術(shù)，但人們不再能夠相互交談，人們不再能夠就任何事情達(dá)成一致，甚至是關(guān)于誰贏得了上次選舉，或者疫苗是否對你有益或?qū)δ悴缓谩?/p>
那么，在如此強(qiáng)大的信息技術(shù)下，對話怎么可能（不）會(huì)崩潰呢？
至少，我們部署信息技術(shù)的方式出了問題，而且是嚴(yán)重錯(cuò)誤。我們需要在部署更強(qiáng)大的工具（如 AI）之前退后一步思考一下，這可能會(huì)導(dǎo)致對話徹底崩潰。
再次強(qiáng)調(diào)，如果你正在與某人討論選舉問題，但你分不清是人工智能還是人類，那就是民主的終結(jié)。因?yàn)閷τ谝粋�(gè)人來說，浪費(fèi)時(shí)間試圖改變機(jī)器人的想法是沒有意義的。機(jī)器人沒有思想，但對于機(jī)器人來說，它與我交談的每一分鐘都在加深對我的了解，甚至與我建立親密關(guān)系，然后機(jī)器人就更容易改變我的觀點(diǎn)。
幾年前我們就知道社交媒體上正在進(jìn)行一場爭奪注意力的戰(zhàn)斗；現(xiàn)在隨著新一代人工智能的出現(xiàn)，戰(zhàn)線正在從關(guān)注轉(zhuǎn)向親密。我們很可能會(huì)遇到這樣一種情況，如果我們不對其進(jìn)行監(jiān)管，我們很可能會(huì)遇到這樣一種情況，即你有數(shù)百萬甚至數(shù)十億的 AI 代理試圖獲得我們的親密感。
因?yàn)檫@是說服我們的最簡單方法 去購買產(chǎn)品或投票給政客或其他任何人，如果我們允許這種情況發(fā)生，將導(dǎo)致社會(huì)崩潰。
主持人：
正如赫拉利教授所描述的那樣，本吉奧教授，我在想關(guān)于他所描述的第一場辯論和討論，關(guān)于社交媒體及其對民主的影響，以及政府干預(yù)與反對的阻力，即言論自由的想法。以及就此發(fā)生的政治辯論，會(huì)讓我們忘記正在談?wù)摰乃腥斯ぶ悄芗捌錁?gòu)成的威脅；就此而言，似乎在某種程度上可以理解的是，考慮到阻力 ，政府會(huì)猶豫是否將自己過多地投入其中�？紤]到未來的前景，這有多令人不安？
Bengio：
好吧，有一種惡性循環(huán)，圍繞著民主本身，所以如果我們有一個(gè)更健康的民主，我們就能更好地保護(hù)它。
為什么民主如此脆弱？我認(rèn)為社交媒體和最終人工智能可能真正發(fā)揮作用的因素之一是人類很容易被影響 ，我們并不總是理性的。
正如約書亞所說，我們會(huì)受到我們與一個(gè)人的關(guān)系的影響，如果我們重視那個(gè)人，我們就會(huì)相信他們所說的話，而不會(huì)真正檢查它是否有意義。
和民主一樣，人口統(tǒng)計(jì)學(xué)已經(jīng)存在了數(shù)千年，但它可以通過社交媒體得到放大，并且可以通過 AI 進(jìn)一步得到放大。
所以...我認(rèn)為這就是難以適當(dāng)?shù)亓⒎ê捅O(jiān)管的原因，因?yàn)榇嬖诶鏇_突。
如果你是一家公司，你希望盡可能少的阻礙你前進(jìn)的障礙。我非常喜歡低稅建議，但公司會(huì)之抗?fàn)帲驗(yàn)檫@意味著收入減少，對吧？
Harari：
也許能說一下...
主持人
是的，請說。
Harari：
我只會(huì)說言論自由問題，這是大公司使用的煙幕。
這不是言論自由問題，因?yàn)闄C(jī)器人沒有言論自由。機(jī)器人沒有權(quán)利。（觀眾鼓掌）
人類有權(quán)利，我們有言論自由的權(quán)利。所以，要禁止一個(gè)人使用 Twitter 或禁止一個(gè)人使用 Facebook，這是一個(gè)難題。
但是要從 Facebook 或 Twitter 上禁止機(jī)器人，這很容易。我的意思是，他們沒有權(quán)利。誰來捍衛(wèi)機(jī)器人的言論自由？（觀眾笑）
主持人：
也許是伊隆馬斯克？（觀眾笑）
我想我理解，我完全理解圍繞它的要點(diǎn)是企業(yè)利益驅(qū)動(dòng)的煙幕，但它已經(jīng)說服了各種政治意識(shí)形態(tài)的某些分支，對吧？
你如何對那些習(xí)慣于現(xiàn)在可以在社交媒體上隨心所欲地做任何事的人說，實(shí)際上你必須去這座大樓（去注冊賬號）？
這聽起來很棒，知道您在社交媒體上與之交談的人是真實(shí)的人很好。但是要說服他們這樣做，什么是當(dāng)務(wù)之急？我們該怎么做？
Bengio：
這就是我們今天進(jìn)行對話的原因。我們需要足夠多的人來了解風(fēng)險(xiǎn)。
因?yàn)槭ッ裰骺赡軙?huì)失去很多福祉和自由以及自由民主帶來的所有美好事物。
失去民主，我們可能會(huì)失去很多，所以我們需要人們理解這一點(diǎn)。這需要時(shí)間，這將需要很多討論。
但這就是我認(rèn)為失去對我們來說很重要的東西的威脅，可能是讓我們做出讓我們感覺不好的選擇的最佳方式，比如去座大樓讓我們的賬戶獲得批準(zhǔn)。
主持人：
我沒時(shí)間，每個(gè)人都會(huì)這么說。（笑）
Harari教授，還有其他人提出建議，更極端的建議是關(guān)于如何應(yīng)對生存威脅以及需要政府干預(yù)的程度，甚至建議建立某種世界政府。
我問你這個(gè)問題的原因是，我認(rèn)為那些會(huì)因?yàn)檠哉撟杂啥鴮θ魏吻謾?quán)行為感到不安的人，也會(huì)直接舉出那個(gè)例子來說明為什么政府不應(yīng)該干預(yù)。
那么你對此有何看法？
Bengio：
好吧，世界政府是個(gè)糟糕的主意，這是不切實(shí)際的。
即使可以做到，也不應(yīng)該這樣做。
還有一些想法認(rèn)為，我們必須建立某種專制或威權(quán)制度，以防止毀滅、拯救人類。
但我認(rèn)為拯救人類唯一現(xiàn)實(shí)的方法首先是拯救民主，因?yàn)樵谝?guī)范人工智能和控制人工智能方面，威權(quán)主義制度將比民主制度糟糕得多。
威權(quán)政權(quán)的傳統(tǒng)問題是他們傾向于相信自己的萬無一失，他們從不犯錯(cuò)誤，而且它們沒有任何強(qiáng)大的自我糾正機(jī)制，識(shí)別和糾正自己錯(cuò)誤的機(jī)制。
在威權(quán)主義政權(quán)或某種超級強(qiáng)大的世界政府的情況下，該系統(tǒng)賦予人工智能太多權(quán)力而無法對其進(jìn)行監(jiān)管的誘惑幾乎是無法抗拒的。而一旦威權(quán)政權(quán)賦予人工智能權(quán)力，就沒有任何自我糾正機(jī)制可以指出系統(tǒng)不可避免的錯(cuò)誤并加以糾正。
并且應(yīng)該非常清楚的是，AI 并非絕對可靠。它有很大的力量，它可以處理很多信息，但信息不是真相。從信息到真理和智慧還有很長的路要走。
如果我們賦予 AI 過多的權(quán)力，它必然會(huì)犯錯(cuò)誤。
只有民主國家才有這種制衡機(jī)制，允許他們嘗試某些事情，如果不起作用，則找出錯(cuò)誤并加以糾正。
主持人：
本吉奧教授，您認(rèn)為為什么會(huì)有人提出那么極端的建議，您對他們有何評價(jià)？
Bengio：
好吧，這是一個(gè)簡單的想法，如果我們都是某種攝像頭，可以監(jiān)視我們所做的一切，并且某些使用人工智能的中央政府會(huì)檢查我們是否沒有做對人類真正危險(xiǎn)的事情，比如發(fā)送殺死所有人的命令，或者只是壞人什么的，我們會(huì)更安全……
如果你忘尤瓦爾告訴我們的一切，這會(huì)是一個(gè)很有吸引力的想法。
但從表面上看，我們?nèi)绾未_保地球上沒有人知道一個(gè)秘訣，讓 AI 進(jìn)入可能對人類構(gòu)成危險(xiǎn)的階段，去真正執(zhí)行錯(cuò)誤的命令？
假設(shè)我們都可以獲得這些知識(shí)，我們?nèi)绾未_保沒有人會(huì)這樣做？
所以，我認(rèn)為...這不是正確的解決方案，但可以理解。你會(huì)說，好吧，讓我們確保每個(gè)人都不會(huì)這樣做。因?yàn)樗麄儽贿B接起來，被監(jiān)視著，他們被控制著，他們不能做……他們的自由受到非常嚴(yán)格的限制。
這可能是一個(gè)誘人的場景，但我認(rèn)為這是非常危險(xiǎn)的，正如尤瓦爾一直在解釋的那樣。我希望我們仔細(xì)考慮我們的選擇是什么。
我們是否可以通過其他方式來組織社會(huì)，使其在 AI 的意義上是安全的？我們可以維護(hù)我們的人類價(jià)值觀、人權(quán)、人類尊嚴(yán)和民主。
這是一個(gè)困難的問題，但我認(rèn)為將我們最好的大腦時(shí)間花在這類問題上是值得的。
主持人：
本吉奧教授，我接著問下去，您的直覺告訴您，雙贏的場景是否存在 ？
Bengio：
好吧，我會(huì)說這會(huì)很困難，特別是如果我們沒有足夠的時(shí)間。
但是，當(dāng)您對似乎比您自己作為小人物大得多的事情感到沮喪時(shí)，您必須記住，我們只能盡力而為。所以我認(rèn)為我們有道德責(zé)任，即使機(jī)會(huì)看起來很渺茫，也要嘗試，要仔細(xì)考慮。
想一想那些已經(jīng)為我們改變應(yīng)對氣候變化的方式而奮斗多年、幾十年的人們，這似乎是一個(gè)絕望的事業(yè)，或者至少多年來一直如此--希望它會(huì)變得更好--但是人們繼續(xù)戰(zhàn)斗，繼續(xù)嘗試，對吧？
這就是我們必須應(yīng)對 AI 挑戰(zhàn)的原因。
這是值得的，因?yàn)槲覀兛梢越o每個(gè)人帶來健康、教育、解決氣候變化，我們甚至可以用你稱之為烏托邦的方式徹底改革社會(huì)，但可能會(huì)給我們所有這些美好的東西， 在民主和人民福祉方面甚至比我們現(xiàn)在的社會(huì)更好。
主持人：
Harari 教授，您是否也有同樣樂觀的理由？你覺得最壞的情況是可以避免的嗎？
Bengio：
等等，等等，我沒有說我是樂觀主義者。
我這樣描述它，我不想成為樂觀主義者或悲觀主義者。我說我們有責(zé)任，道德責(zé)任去尋求樂觀的解決方案并努力實(shí)現(xiàn)它。
主持人：
因此，我要問的是，赫拉利教授，您認(rèn)為這可能嗎？
Harari：
是的，我認(rèn)為基本上是我們造成了問題，我們?nèi)匀挥心芰鉀Q它。不會(huì)有很多年的機(jī)會(huì)，因?yàn)槿斯ぶ悄軙?huì)奪走我們的力量，但目前，我們?nèi)匀粨碛辛α俊?/strong>
也許關(guān)于我們剛剛聽到的一個(gè)更普遍的想法是，關(guān)于智力，所有這些關(guān)于智力的討論是一件好事。
迄今為止，我們是地球上最聰明的生物，看看我們的智慧把我們帶到了哪里（觀眾笑）
我們現(xiàn)在正在討論，因?yàn)槲覀儼l(fā)明的東西，我們現(xiàn)在正在討論這些場景，比如在每個(gè)人身上放一個(gè)攝像頭，破壞人類自由和人類隱私，以保護(hù)我們免受我們用我們的智慧發(fā)明的東西的傷害，這些東西據(jù)說是為了給我們提供更好的醫(yī)療保健和其他東西。
我認(rèn)為關(guān)于智能的一件事是，最聰明的代理人，同時(shí)也往往是最愚蠢的代理人。
青蛙不會(huì)這樣做，就像我們做的那樣（主持和觀眾笑）。
因此，當(dāng)我們考慮人工智能時(shí)，它也可能在它所做的某些事情上非常愚蠢。這不一定是樂觀的，但它只是暫時(shí)框架一下關(guān)于人工智能和一般智能的討論。
再一次，最終，問題是我們，而不是人工智能。
例如，我們剛剛討論的是民主的崩潰，以惡意方式使用 AI 的主要是壞人。
所以，我認(rèn)為，如果我們花在開發(fā)、理解和發(fā)展我們自己的思想上的時(shí)間與我們花在開發(fā)人工智能上的時(shí)間一樣多，我們就會(huì)安全。
Bengio：
我完全同意，而且我會(huì)談?wù)摰酶h(yuǎn)。
我認(rèn)為這是唯一的方法，如果我們想避免我們談到的老大哥（威權(quán)主義），維護(hù)我們價(jià)值觀的唯一方法來、是通過改變?nèi)祟悺?/p>
我認(rèn)為這是可能的。有些人更有道德、更聰明、更了解自己、更有同情心、更理性。所以，我們知道這是可能的。
我們?nèi)绾螌⑦@些帶給全人類？這就是我所說的烏托邦。
主持人：
只是跟進(jìn)一下，正如你所描述的那樣，我想到很多人可能剛剛看到有關(guān)人工智能的頭條新聞。他們聽到這些消息后，認(rèn)為這只是一種完全重新定位或改變社會(huì)的方式，他們感到害怕。
是否存在一個(gè)風(fēng)險(xiǎn)：我們只是討論解決方案，然而忽略了需要實(shí)際說服去實(shí)施解決方案的人？
Bengio：
是的。我理解。與我關(guān)系密切的人有些擔(dān)心，討論集中在民主或人類面臨的這些災(zāi)難性風(fēng)險(xiǎn)上，但我們沒有關(guān)注當(dāng)前的社會(huì)問題，人工智能的當(dāng)前問題，例如偏見和歧視，以及存在的不公正現(xiàn)象。
所以我們需要同時(shí)做所有這些事情，但也許解決方案會(huì)趨于一致。
主持人：
Harari 教授，對于如何在政治上和公眾中獲得支持以確保我們作為一個(gè)社會(huì)致力于解決這個(gè)問題，您有什么想法？
Harari：
首先，我們需要將社會(huì)的注意力集中在這些問題上。這不是危言聳聽，這不是為了向我們隱瞞其他問題。
實(shí)際上，除了長期存在的風(fēng)險(xiǎn)之外，我們在經(jīng)濟(jì)和社會(huì)中的許多最緊迫的問題都會(huì)因?yàn)槿斯ぶ悄芏兊梅浅７浅Ｔ愀狻?/p>
我們沒有過多地談?wù)摼蜆I(yè)市場，但這應(yīng)該是每個(gè)人都非常關(guān)心的問題
而且，我不認(rèn)為人工智能會(huì)摧毀所有工作，它會(huì)破壞一些工作，它將創(chuàng)造很多新的就業(yè)機(jī)會(huì)。
但是，再次強(qiáng)調(diào)，轉(zhuǎn)型，培訓(xùn)人，這將是非常困難的。
記住，希特勒上臺(tái)是因?yàn)榈聡甑氖I(yè)率高達(dá) 25%。因此，即使 20 年后它會(huì)好，我們沒有20年的時(shí)間。有三年、四年失業(yè)率為 20%，你怎么辦？
在政治方面，我認(rèn)為政治體制內(nèi)也缺乏對技術(shù)及其影響有非常深刻理解的人，因?yàn)榇蠖鄶?shù)了解技術(shù)的人都想成為下一個(gè)扎克伯格或下一個(gè)埃隆馬斯克。
他們不去從事政治，提高公眾的意識(shí)并對其進(jìn)行規(guī)范，他們做生意賺了數(shù)十億美元。
所以我們基本上需要更少的扎克伯格和埃隆馬斯克，更多的（從政的技術(shù)人才）。
主持人：
這絕對是一種極佳的表達(dá)方式。（觀眾鼓掌）
我想談?wù)労绽淌趪@工作提出的一個(gè)觀點(diǎn)，因?yàn)槲掖_實(shí)認(rèn)為，這個(gè)討論，圍繞 AI 對我的工作、對你的工作、對聽眾的工作意味著什么的討論，是一種非常切實(shí)的方式消除它所構(gòu)成的威脅。
就像氣候變化帶來的生存威脅一樣，看看魁北克的洪水，艾伯塔省的大火無疑為我們奠定了基礎(chǔ)，最終我認(rèn)為改變了政治家采取行動(dòng)的動(dòng)力。
您如何描述 AI 對我們的工作構(gòu)成的威脅 ？
Bengio：
好吧，我不是經(jīng)濟(jì)學(xué)家，所以我試著讀了一點(diǎn)這方面的書，我看到不同的陣營，就像經(jīng)濟(jì)學(xué)中通常的那樣，提出了截然不同的主張。
因此，一方面，例如OpenAI 和學(xué)者最近的一項(xiàng)研究表明，大部分工作會(huì)被改變，你會(huì)獲得更高的生產(chǎn)力，這意味著我們要么讓更少的人做這些工作，或者我們會(huì)做更多的事。
我認(rèn)為編程是一個(gè)很好的例子，如果我們可以因?yàn)?AI 工具而將編程工作的速度提高一倍，那么我們的程序員數(shù)量會(huì)減半嗎？還是同樣的人數(shù)會(huì)做兩倍的好事？
所以很難預(yù)測這些事情，而且我在“我們不擔(dān)心”方面聽到的一個(gè)論點(diǎn)是社會(huì)變化緩慢，即使我們擁有某些東西的技術(shù)，人們也可能需要數(shù)年甚至數(shù)十年才能真正利用它對社會(huì)和就業(yè)市場產(chǎn)生重大影響。
現(xiàn)在，好吧，還有其他論點(diǎn)說人工智能是不同的，一旦你有了一個(gè)基本上可以更好地完成工作的系統(tǒng)，那么想想現(xiàn)在我們正在談?wù)摰模憧梢酝ㄟ^操縱語言來完成所有工作，比如電子郵件和社交媒體等等 ，并使用數(shù)據(jù)庫這些。
很可能在許多部門，這些類型的工作可以相當(dāng)快地完成得更好，公司是否能夠迅速做到這一點(diǎn)真的很難預(yù)測，但如果他們做到了，我們真的會(huì)遇到尤瓦爾所說的這些轉(zhuǎn)型問題。
主持人：
赫拉利教授，您是否認(rèn)為現(xiàn)在這場關(guān)于工作的討論是否支持了（未來）可能不可知論者？
Harari：
絕對是的。
因?yàn)檫@非常非常清楚，如果機(jī)器人或人工智能來取代我的工作怎么辦？這立即引起了人們的注意。
再說一次，人類將不再有任何工作崗位，這并不是一個(gè)簡單的想法。
會(huì)有很多新工作，但轉(zhuǎn)型很困難。您如何對人員進(jìn)行再培訓(xùn)，尤其是在我們需要考慮全球因素的情況下？因?yàn)槿斯ぶ悄芨锩怯蓸O少數(shù)國家領(lǐng)導(dǎo)的，這些國家可能因此而變得極其富有和強(qiáng)大，而它可能會(huì)摧毀欠發(fā)達(dá)國家的經(jīng)濟(jì)。
即使你想到像紡織業(yè)這樣的事情，如果在加拿大和美國生產(chǎn)紡織品比在洪都拉斯、危地馬拉和孟加拉國生產(chǎn)更便宜，洪都拉斯或孟加拉國的經(jīng)濟(jì)會(huì)發(fā)生什么變化？那么你真的認(rèn)為你能夠?qū)⑦@些國家的數(shù)百萬紡織工人重新培訓(xùn)成為虛擬現(xiàn)實(shí)游戲的設(shè)計(jì)師嗎？誰來支付再培訓(xùn)費(fèi)用？
我的意思是，在先進(jìn)的發(fā)達(dá)國家，人工智能革命的收益將使政府有望減輕對失業(yè)人員的打擊，并使他們能夠接受再培訓(xùn)。但我不認(rèn)為美國政府會(huì)對谷歌、Facebook 和微軟征稅，然后將錢匯往洪都拉斯或孟加拉國，以幫助那里的人們接受再培訓(xùn)和應(yīng)對。
所以我們可以看到一種新的，比如 19 世紀(jì)的工業(yè)革命，它導(dǎo)致極少數(shù)國家基本上征服和統(tǒng)治了整個(gè)世界。由于自動(dòng)化革命和人工智能革命，這種情況可能會(huì)在很短的時(shí)間內(nèi)再次發(fā)生。
再一次，如果你再加上一點(diǎn)，這不僅僅是經(jīng)濟(jì)，它也是你可以獲得的政治控制類型，從收集世界上所有的數(shù)據(jù)并對其進(jìn)行分析。要知道，以前想要控制一個(gè)國家，就得派兵進(jìn)來；現(xiàn)在越來越多(的情況)是，你只需要取出數(shù)據(jù),當(dāng)每個(gè)政客、記者、法官和軍官的全部個(gè)人記錄、醫(yī)療記錄等都被硅谷或中國的某個(gè)人掌握時(shí)，某個(gè)小國會(huì)發(fā)生什么？它仍然是一個(gè)獨(dú)立的國家還是變成了某種數(shù)據(jù)殖民地？
因此，這些是我認(rèn)為任何公民都應(yīng)該清楚的直接危險(xiǎn)，無論他們對人工智能的長期存在風(fēng)險(xiǎn)有何看法。
主持人：
好吧，關(guān)于這一點(diǎn)，這可能是結(jié)束我們討論的完美說明，因?yàn)槲艺J(rèn)為在討論完你們雙方提出的內(nèi)容之后 ，我們都更加清楚。
非常感謝你們今天為我們提供的所有信息。
Bengio & Harari：
謝謝。很高興。
主持人：
非常感謝!
這是一種真正的快樂，我確實(shí)覺得我們現(xiàn)在掌握了更多的知識(shí)，而不是哭著入睡。所以這是一件好事。
非常感謝大家今天的關(guān)注。
謝謝。
