《硅谷封面》系列聚焦硅谷科技大公司動態(tài)、科技大咖訪談、重磅研究報告等，旨在為科技資訊愛好者提供全球最前沿的深度好文。
文｜無忌
編輯｜郝博陽
人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)（一種受大腦啟發(fā)的機(jī)器學(xué)習(xí)方法）的先驅(qū)。2018年，本吉奧與Meta首席人工智能科學(xué)家楊立昆（Yann LeCun）、谷歌前研究員杰弗里辛頓（Geoffrey Hinton），因“概念和工程上的突破，讓深度神經(jīng)網(wǎng)絡(luò)成為計算的關(guān)鍵組成部分”，共同摘得計算機(jī)領(lǐng)域的諾貝爾獎--圖靈獎。如今，上述三位計算機(jī)科學(xué)家也被稱為“人工智能教父”。
今年7月，本吉奧向美國參議院一個小組委員會表示，應(yīng)當(dāng)考慮通過立法來監(jiān)管快速發(fā)展的人工智能技術(shù)。本吉奧當(dāng)時解釋稱，他和其他頂級人工智能研究人員已經(jīng)修改了他們對人工智能何時能夠達(dá)到人類廣泛認(rèn)知能力水平的預(yù)測時間。“以前認(rèn)為要幾十年甚至幾個世紀(jì)才能實現(xiàn)，現(xiàn)在我們認(rèn)為可能在幾年或幾十年內(nèi)實現(xiàn)，”本吉奧向參會議員說。“更短的時間框架，比如說五年，確實令人擔(dān)憂，因為我們需要更多的時間來有效緩解對民主、國家安全和我們共同未來的潛在重大威脅。”
今年9月的一天，本吉奧在自己的辦公室接受了來自連線雜志記者的專訪。雙方談?wù)摿艘幌盗械脑掝}，涉及引人注目的人工智能頭條新聞內(nèi)容與實際情況的細(xì)微差別、人工智能研究人員之間的禁忌，以及為什么部分頂級人工智能研究人員不認(rèn)同人工智能將對人類構(gòu)成風(fēng)險等等問題。
以下為訪談內(nèi)容：
達(dá)戈斯蒂諾：英國廣播公司（BBC）在今年5月發(fā)表了一篇文章，稱您對自己一生的工作感到“失落”。您在博客中寫道，你從未發(fā)表過這種言論。盡管如此，您似乎也陷入了某種糾結(jié)。如何描述您正在經(jīng)歷的事情？
本吉奧：我說了一些與此相關(guān)的東西，但其中的細(xì)微差別被忽略了。整個冬天，我對自己的工作、工作目的和工作重點的看法發(fā)生了巨大的轉(zhuǎn)變。我在接受英國廣播公司采訪以及后來在我的博客中試圖表達(dá)的是：我并沒有迷失。我開始質(zhì)疑并意識到，也許我沒有關(guān)注一些重要的事情，這些事情不僅僅同研究方向有關(guān)，也同情感有關(guān)。
我在至少十年前就讀過一些關(guān)于存在性風(fēng)險的著作。而現(xiàn)在，我小組里的學(xué)生和周圍的學(xué)生都在談?wù)撨@個話題。
在技術(shù)層面，我非常認(rèn)真地閱讀了加州大學(xué)伯克利分校的斯圖爾特羅素教授（Stuart Russell）在2019年出版的書籍《與人類相容：人工智能與控制問題》（Human Compatible: Artificial Intelligence and the Problem of Control）。
從情感上講，我當(dāng)時沒有把這個當(dāng)回事。我當(dāng)時想：“是的，這是人們應(yīng)該看看的書籍。”但我當(dāng)時真的認(rèn)為，“這是遙遠(yuǎn)的未來。”我可以繼續(xù)我的工作，因為我正在做的事情將是有用的，在科學(xué)上是重要的。我們希望了解人類和動物的智力，制造出可以幫助我們應(yīng)對各種重要和困難挑戰(zhàn)的機(jī)器。所以，我繼續(xù)工作，而沒有改變我的工作方式。
但在冬天，我開始意識到AI“雙刃劍”的性質(zhì)和潛在的失控是非常嚴(yán)重的事兒。它們會發(fā)生的可能比我預(yù)計的要早得多。我不能繼續(xù)忽視這一點，所以不得不改變手頭在做的事情。此外，我也有必要去談?wù)撍驗橹钡竭^去幾個月，很少有人--即使是在人工智能社區(qū)--在認(rèn)真對待這些問題。雖然早有一些人已經(jīng)意識到這些風(fēng)險的重要性，但我、杰弗里辛頓以及其他為數(shù)不多的一些人要更受到關(guān)注。
這里還存在一個心理因素。你以一種特定的形式構(gòu)建自己的身份或者生命的意義。然后有人告訴你，或者你通過推理認(rèn)識到，你描述自己（身份）的方式并不完全符合事實，你忽略了一些非常重要的事情。我理解為什么我的許多同事很難首先接受這樣的想法（來自人工智能的潛在災(zāi)難性威脅），然后有勇氣說出一些事情。（因為它和我們的身份認(rèn)同相關(guān)），這在我們的社區(qū)中基本上是永遠(yuǎn)的禁忌。
說出真相很難。人們在不同的時間或以不同的速度走向這條路。我非常尊重那些和我看法不同的同事。一年前的我也是這樣的。
達(dá)戈斯蒂諾：這個禁忌在早期的人工智能研究社區(qū)中是如何表達(dá)的？現(xiàn)在還有這個情況嗎？
本吉奧：談?wù)摯嬖陲L(fēng)險的人基本上沒法在主流科學(xué)雜志刊發(fā)文章。這個問題有兩面性：這些人在試圖談?wù)摶蛱峤徽撐臅r遇到了阻力；但是，這些人也對所在領(lǐng)域的主流科學(xué)場域（scientific venues）不屑一顧。
過去6個月發(fā)生的事情正在打破這一障礙。你們認(rèn)知的進(jìn)化恰逢OpenAI在2022年末發(fā)布ChatGPT，進(jìn)而引發(fā)公眾對大型語言模型的認(rèn)識不斷上升之時。起初，許多公眾人物都對ChatGPT嘖嘖稱奇，甚至被它折服。但現(xiàn)如今，有些人已經(jīng)可以不為之所動了。比如說《大西洋月刊》刊登了一篇名為《ChatGPT比你想象的還要蠢》的文章。在最近的一次美國共和黨總統(tǒng)候選人辯論中，克里斯克里斯蒂（Chris Christie）就對維韋克拉馬斯瓦米（Vivek Ramaswamy）說，他“今晚已經(jīng)受夠了一個聽起來像ChatGPT一樣的家伙。”
達(dá)戈斯蒂諾：ChatGPT的發(fā)布對你的領(lǐng)悟有影響嗎？不管怎樣，你現(xiàn)在認(rèn)為ChatGPT是這場變革的最強(qiáng)音嗎？
本吉奧：我的軌跡和你描述的正好相反。我更想了解并彌合當(dāng)前人工智能和人類智能之間的差距。ChatGPT缺失什么？它失敗在哪里？在ChatGPT發(fā)布后的幾個月里，就像許多同行一樣，我試圖設(shè)置一些問題，讓ChatGPT做一些愚蠢的事情。
在我體驗ChatGPT的前兩個月，我最大的安慰是我相信它仍然缺少一些基本的東西。這是我當(dāng)時最關(guān)心的事。但是玩夠了之后，我才反應(yīng)過來ChatGPT一個驚人的進(jìn)步。我們的進(jìn)展比我預(yù)期的要快得多。它留給我的印象是，去修復(fù)那些它缺失的東西可能不需要太多的時間。
每個月我都會想出一個新的想法，這個想法可能是打破（前面提到）障礙的關(guān)鍵。彌合差距的點還沒有到來，但它可能會很快到來--也許不是由我的團(tuán)隊找到，但也會是另一個團(tuán)隊。這也許需要十年時間。在研究時，你可能會覺得已經(jīng)很接近了，但這里面可能有一些你沒有考慮到的障礙。
如果把我正在研究的關(guān)于AI去表達(dá)及其復(fù)雜的概率分布的能力，結(jié)合上以更合理的方式學(xué)習(xí)和使用海量信息的能力，那么我們可能會非常接近（突破了）。這個以直覺方式使用信息的能力相當(dāng)于我和其他人所說的系統(tǒng)1（System 1）。而當(dāng)前AI所缺失的那個思維薄層，是系統(tǒng)2（System 2），也就是推理能力。
我不禁開始思考，如果在一年內(nèi)我們彌合了這個（人的思維和機(jī)器思維的）差距，然后讓AI持續(xù)的擴(kuò)大規(guī)模，那之后將會發(fā)生什么？
達(dá)戈斯蒂諾：意識到這一點后，您做了什么？
本吉奧：今年3月底，在未來生命研究所(Future of Life Institute) 發(fā)布公開信，呼吁所有人工智能實驗室立即暫停訓(xùn)練比GPT-4更強(qiáng)大的人工智能系統(tǒng)至少6個月之前，我聯(lián)系了杰弗里辛頓。我試圖說服他在公開信上簽名。我當(dāng)時驚訝地發(fā)現(xiàn)，我們都得出了相同的結(jié)論。這讓我想起了伊薩克牛頓（Issac Newton）和戈特弗里德萊布尼茨（Gottfried Leibniz）同時獨(dú)立發(fā)現(xiàn)微積分的場面。
達(dá)戈斯蒂諾：這是否意味著多重獨(dú)立發(fā)現(xiàn)（當(dāng)兩位或兩位以上的科學(xué)家或發(fā)明家提出同一種理論，發(fā)現(xiàn)相似的現(xiàn)象，或者發(fā)明、設(shè)計出同類的儀器或裝置時，就產(chǎn)生了多重獨(dú)立發(fā)現(xiàn)）的時機(jī)成熟了？
本吉奧：別忘了，我們只是意識到了別人已經(jīng)發(fā)現(xiàn)的東西。此外，辛頓認(rèn)為，與大腦相比，數(shù)字計算技術(shù)擁有根本性的優(yōu)勢。換句話說，即使我們只是找出足以解釋人類大部分智能的原理，然后將其放到機(jī)器里，機(jī)器也會自然的比我們更聰明。從技術(shù)角度看，如閱讀大量文本并以整合的速度，機(jī)器要比人類快數(shù)十萬倍或數(shù)百萬倍。
如果我們彌合了人和機(jī)器思維上的差距，我們就會擁有比人類更聰明的機(jī)器。這在實踐意義上有多大的重要性？現(xiàn)在沒人知道。但你可以很容易地想象，在編程、發(fā)動網(wǎng)絡(luò)攻擊或設(shè)計生物學(xué)家或化學(xué)家目前手工設(shè)計的東西等方面，機(jī)器會比人類做得更好。
過去的三年中，我一直致力于把機(jī)器學(xué)習(xí)帶入科學(xué)領(lǐng)域，尤其是應(yīng)用于化學(xué)和生物學(xué)的機(jī)器學(xué)習(xí)。我們的目標(biāo)是幫助設(shè)計更好的藥物和材料，分別用于對抗流行病和氣候變化。但同樣的技術(shù)可以用來設(shè)計致命的產(chǎn)物。因為我的這種認(rèn)知在慢慢積累，所以我在信上簽了名。
達(dá)戈斯蒂諾：您的觀點，包括英國廣播公司發(fā)表的文章，都引起了很大的關(guān)注。您怎么看?
本吉奧：媒體迫使我說出所有這些想法。這是一件好事。最近，在過去的幾個月里，我一直在思考我們應(yīng)該在政策方面做些什么。我們?nèi)绾谓档惋L(fēng)險？我也一直在想對策。
有些人可能會說：“嘿！本吉奧是想嚇唬人。”但我是個積極向上的人。我并不像人們所說的那樣是一個末日論者。（只是）這兒有個問題，而我在想它該如何被解決。我想和其他對此問題有想法的人討論一下這個問題�，F(xiàn)在有大量的資金投入到人工智能領(lǐng)域，提高人工智能能力的研究正在競相展開，這意味著緩解最大的風(fēng)險迫在眉睫。
達(dá)戈斯蒂諾：我們有針對核風(fēng)險的法規(guī)和國際條約，但比如說，朝鮮就不在談判桌上。我們真的能控制人工智能帶來的風(fēng)險嗎？
本吉奧：根據(jù)我們作為一個集體的最終謹(jǐn)慎程度，我們或多或少可以通過國家監(jiān)管和國際條約控制人工智能帶來的風(fēng)險。就像核條約一樣，在各國之間建立最低標(biāo)準(zhǔn)是很重要的。人工智能可能造成的傷害不受國界限制。
沒有100%的保證不會發(fā)生壞事。即使我們有一個禁止人工智能超出某些級別的國際條約，也有人會不尊重這些限制。但是如果能夠推遲人工智能技術(shù)發(fā)展超過某個點十年，那就太好了。在這段時間里，我們可能會改進(jìn)監(jiān)管。我們可能會提高防御。我們可能會更好地理解風(fēng)險。
人工智能技術(shù)當(dāng)前的開發(fā)需要大量的資金和專門的硬件。目前，你不可能大量購買像GPU這樣的硬件而不被注意到，但各國政府不會跟蹤誰買了什么。它們可以從這樣做開始。時間至關(guān)重要。監(jiān)管可以降低災(zāi)難發(fā)生的概率�；蛘哒f，把真正糟糕的事情將要發(fā)生的時間推后，或者把可能發(fā)生的事情的幾率降到最低。
不幸的是，在廣島和長崎投下的原子彈才是讓各國政府坐在會議桌旁并愿意討論的原因。盡管冷戰(zhàn)已經(jīng)過去。我希望我們在行動之前不需要出現(xiàn)那種程度的災(zāi)難。但事態(tài)有可能會發(fā)展到那一步。
達(dá)戈斯蒂諾：公眾喜歡談?wù)撏ㄓ萌斯ぶ悄�。你認(rèn)為那會在一夜之間發(fā)生嗎？或者它會是在連續(xù)體中發(fā)生的？
本吉奧：向AGI發(fā)展的人工智能是個連續(xù)體。肯定是這樣。我過去不喜歡這個術(shù)語，因為我認(rèn)為完全通用智能不可能以20年前被定義的方式存在。但現(xiàn)在人們理解它的方式和媒體使用它的方式只是意味著“一個擅長很多事情的人工智能系統(tǒng)。”
從傷害的角度來說，它是不是什么都比我們強(qiáng)都無所謂。也許有些比賽人類會贏。但如果通用人工智能在可能傷害我們的事情上比我們強(qiáng)，誰會在乎我們贏得了一場比賽？重要的是它們在可能造成傷害的領(lǐng)域的能力。這才是我們應(yīng)該關(guān)心的。即使是現(xiàn)在，如果我們懷著惡意的目的來設(shè)計通用人工智能，它也可能是危險的。
達(dá)戈斯蒂諾：人工智能和氣候變化的潛在相互作用會帶來風(fēng)險嗎？
本吉奧：人工智能應(yīng)該會主要是在幫助抵御氣候變化。除非它處于失控狀態(tài)，否則我不認(rèn)為人工智能會把氣候變化作為武器。如果出現(xiàn)了失控的情況，改變氣候可能是人工智能加速人類毀滅或?qū)θ祟惿鐣斐蓢?yán)重破壞的一種方式。
達(dá)戈斯蒂諾：一臺機(jī)器怎么能改變氣候呢？
本吉奧：這是一個重要的問題。許多人對關(guān)于人工智能風(fēng)險的擔(dān)憂做出了回應(yīng)。他們說：“在現(xiàn)實世界中，計算機(jī)怎么可能做任何事情？都是虛擬的。我們了解網(wǎng)絡(luò)攻擊，因為這一切都發(fā)生在機(jī)器中。”
但這其實很簡單。電腦上發(fā)生的事情會以多種方式影響人類。首先，我們的許多經(jīng)濟(jì)基礎(chǔ)設(shè)施都依賴于計算機(jī)--我們的通信、供應(yīng)鏈、能源、電力和交通。想象一下，如果這些設(shè)施中的許多因為網(wǎng)絡(luò)攻擊而停止工作。它可能不會毀滅所有人，但它可能會給社會帶來巨大的混亂，因此受苦的人可能會很多。
其次，鑒于人工智能系統(tǒng)在操控和理解語言方面的進(jìn)展，我們可能在幾年內(nèi)擁有能夠影響人類的人工智能系統(tǒng)。它們可以說服我們?yōu)樗鼈冏鍪隆?/strong>想想那些陰謀論者。人工智能系統(tǒng)在互聯(lián)網(wǎng)上可能不受管控。它可以開始在社交媒體上與人類互動，嘗試看看什么樣的對話可以成功地改變?nèi)藗儗δ承┦虑榈目捶ā＿@可能會讓我們采取一些小行動，這些行動與其他行動一起聯(lián)動，就可能會產(chǎn)生災(zāi)難性的結(jié)果。這種情況有可能出現(xiàn)。
當(dāng)然，也許這種情況不會發(fā)生。也許我們有足夠的防御，也許人類很難被說服。但近年來我所看到的關(guān)于陰謀論所影響的一切，都讓我覺得我們可以很有影響力。也許不是每個人都有影響力，但（造成嚴(yán)重后果）也沒必要每個人都有影響力。人工智能只需要影響足夠多的人或足夠多的當(dāng)權(quán)者就可以改變現(xiàn)狀，制造災(zāi)難性的結(jié)果。所以，最終動手干臟活兒的可能是人類。
達(dá)戈斯蒂諾：所以說，人類的無知是一個致命的弱點。我們在其他方面是否可能容易受到人工智能的攻擊？
本吉奧：給你舉另一個更簡單的威脅例子，你甚至都不需要相信會有能力更強(qiáng)的AI。一個人工智能系統(tǒng)可以收買人們?nèi)プ鲆豁椆ぷ�。犯罪組織做你讓他們做的事是為了錢，他們不問錢從哪里來。即使是現(xiàn)在，一個人或一臺機(jī)器訪問暗網(wǎng)也很容易。
如果我們展望未來至少五年，我們也有可能解決機(jī)器人技術(shù)�，F(xiàn)在，我們有擅長視覺的機(jī)器。我們也有擅長語言的機(jī)器。機(jī)器人的第三條腿是控制--擁有一個可以控制的身體來實現(xiàn)目標(biāo)。在機(jī)器人的機(jī)器學(xué)習(xí)方面有很多研究，但它還沒有像過去十年我們在語言和視覺方面那樣的突破時刻。但它可能會比我們想象的來得更快。
達(dá)戈斯蒂諾：機(jī)器人技術(shù)有突破性進(jìn)展的障礙是什么？
本吉奧：在機(jī)器人領(lǐng)域，我們沒有現(xiàn)有的規(guī)模數(shù)據(jù)，例如語言和圖像。我們沒有像處理文本一樣，部署1億個機(jī)器人來收集海量的數(shù)據(jù)。即使在不同的文化中，文本也是有效的。你可以混合不同語言的文本，并利用它們的聯(lián)合優(yōu)勢。機(jī)器人技術(shù)還沒有做到這一點。但是有足夠錢的人可以在未來幾年內(nèi)做到。如果是這樣的話，那么人工智能就進(jìn)入了部署階段。
現(xiàn)在，一個變成惡棍且自主的人工智能系統(tǒng)仍然需要人類來獲得電力和零件。它現(xiàn)在還需要一個正常運(yùn)轉(zhuǎn)的人類社會。但這可能會在十年內(nèi)改變。很有可能我們不應(yīng)該指望它來保護(hù)我們。
達(dá)戈斯蒂諾：你對人工智能與核風(fēng)險或生物安全的潛在相互作用的擔(dān)憂是什么？
本吉奧：我們真的希望避免讓一個人工智能系統(tǒng)輕易地控制核武器的發(fā)射。軍隊?wèi)?yīng)用人工智能技術(shù)是超級危險的，甚至關(guān)乎生死存亡。國際社會需要努力加快禁止致命自動武器。
總的來說，我們應(yīng)該讓人工智能遠(yuǎn)離我們所擁有的任何能迅速產(chǎn)生傷害的東西。生物安全可能比與人工智能相關(guān)的核危險更危險。許多公司會接收你發(fā)給他們的指定DNA序列的文件，然后編寫一些細(xì)菌、酵母或病毒，它們的代碼中會包含這些序列，并會生成相應(yīng)的蛋白質(zhì)。通常，這是好事--例如，有助于創(chuàng)新藥的開發(fā)。但是這樣做的公司可能沒有技術(shù)手段知道你發(fā)送給他們的序列可能會被惡意使用。
我們需要人工智能和生物技術(shù)方面的專家來制定這一法規(guī)，把這些風(fēng)險降至最低。如果你是一家老牌制藥公司，沒問題。但是那些在車庫里自己搗鼓創(chuàng)業(yè)的人不應(yīng)該被允許創(chuàng)造新藥。
達(dá)戈斯蒂諾：你和其他頂級人工智能研究人員之間關(guān)于人工智能潛在危險的明顯分歧有什么意義？包括圖靈獎共同獲獎?wù)邨盍⒗�，他沒有在未來生命研究所的信中簽名。
本吉奧：我希望我能更好地理解，為什么在價值觀、理性和經(jīng)驗方面基本一致的人會得出如此不同的結(jié)論。也許是一些心理因素在起作用。也許取決于你從哪里來。如果你在一家推銷人工智能會變好這一理念的公司工作，可能很難像我一樣扭轉(zhuǎn)看法。辛頓從谷歌離職是有原因的。也許心理因素并不總是有意識的。這些人很多都是真誠的。
此外，為了思考這些問題，你必須進(jìn)入許多科學(xué)家試圖避免的思維模式。我所在領(lǐng)域和其他領(lǐng)域的科學(xué)家喜歡公開表達(dá)基于非常確鑿證據(jù)的結(jié)論。你做一個試驗，能夠重復(fù)十次做同一個試驗。你有統(tǒng)計學(xué)上的信心，因為它是重復(fù)的。這里我們討論的是不確定性大得多的事情，我們無法實驗。我們沒有過去十次危險的人工智能系統(tǒng)崛起的歷史。
但是風(fēng)險如此之大，我們有責(zé)任展望不確定的未來。我們需要考慮潛在的情況，想想能做些什么。其他學(xué)科的研究人員，如倫理科學(xué)或社會科學(xué)，當(dāng)他們不能做試驗時會這樣做。即使我們沒有事情將如何發(fā)展的數(shù)學(xué)模型，我們也必須做出決定。
除了那些持有不同意見的人，還有絕大多數(shù)沉默的研究人員，因為這種不確定性，他們沒有足夠的信心采取這樣或那樣的立常
達(dá)戈斯蒂諾：當(dāng)你想到人工智能威脅人類的潛力時，你在絕望到希望的連續(xù)光譜中處于什么位置？
本吉奧：用什么詞來描述呢？用一個法語詞匯，應(yīng)該是“無力的”（impuissant）。就是一種有問題，但我解決不了的感覺。比那更糟，因為我認(rèn)為它是可以解決的。如果我們都同意一個特定的協(xié)議，我們就可以完全避免這個問題。
氣候變化也類似。如果我們都決定做正確的事情，我們現(xiàn)在就可以阻止這個問題。這是有代價的，但是我們可以做到。人工智能也是一樣。我們可以做些事情。我們都可以決定不建造我們不確定是否安全的東西。很簡單。
但這與我們的經(jīng)濟(jì)和政治體系的組織方式背道而馳。除非發(fā)生災(zāi)難性的事情，否則很難實現(xiàn)這一目標(biāo)。那么也許人們會更認(rèn)真地對待它。但即使這樣，也很難，因為你必須說服每個人合理去行為。氣候變化更容易。如果我們只說服99%的人表現(xiàn)良好，就不會有問題。但就人工智能而言，你需要確保沒有一個人去做危險的事情。
達(dá)戈斯蒂諾：我想“impuissant”應(yīng)當(dāng)翻譯為“Powerless”（無能為力）。
本吉奧：我也不是完全無能為力，因為我會說話，我可以努力說服別人朝著正確的方向前進(jìn)。我們可以做些事情來降低這些風(fēng)險。
監(jiān)管并不完美，但它可能會放慢速度。舉例來說，如果世界上允許操作潛在危險的人工智能系統(tǒng)的人數(shù)減少到幾百人，風(fēng)險可能會降低1000倍以上。這值得去做，也沒那么難。我們不允許隨便誰都能駕駛客機(jī)。我們了規(guī)范飛行要求，這大大降低了事故率。
即使我們找到了構(gòu)建安全的人工智能系統(tǒng)的方法，從維護(hù)民主的角度來看，它們也可能不安全。如果你是人類，權(quán)力會沖昏你的頭腦。所以，我們可能會失去民主。
達(dá)戈斯蒂諾：你為何從一個安全但強(qiáng)大的人工智能系統(tǒng)的存在，會談?wù)撈鹗ッ裰鞯膯栴}？
本吉奧：例如，它可以從經(jīng)濟(jì)主導(dǎo)地位開始。我不是說企業(yè)不能做有用的東西，只是企業(yè)的使命是支配別人和賺錢。如果一家企業(yè)某個時刻在人工智能方面取得更快的進(jìn)展，它可能會在經(jīng)濟(jì)上占據(jù)統(tǒng)治優(yōu)勢。這家企業(yè)提供的每樣?xùn)|西都比其他任何企業(yè)更好更便宜。然后它用自己權(quán)力來控制政治，因為這就是我們的系統(tǒng)運(yùn)作的方式。在這條道路上，我們可能會以世界政府獨(dú)裁而告終。
不僅僅是規(guī)范人工智能的使用和誰有權(quán)限。我們需要為有一天人們或人工智能系統(tǒng)濫用這種權(quán)力做好準(zhǔn)備，如果我們失去控制，它們就會實現(xiàn)自己的目標(biāo)。
達(dá)戈斯蒂諾：你對我們?nèi)绾胃玫販?zhǔn)備有什么建議嗎？
本吉奧：在未來，我們需要一個人道防御組織。我們在每個國家都有防御組織。我們需要在國際上組織一種方式來保護(hù)免受可能毀滅人類的事件的影響。這是一個長期的觀點，要讓多個國家就正確的投資方式達(dá)成一致需要很多時間。但是現(xiàn)在，所有的投資都發(fā)生在私有領(lǐng)域。沒有任何公益目標(biāo)可以捍衛(wèi)人類。
