文丨穆斯塔法蘇萊曼（DeepMind聯(lián)合創(chuàng)始人、微軟人工智能CEO） 邁克爾巴斯卡爾（ 作家、數(shù)字出版人、咨詢顧問和企業(yè)家 ）
（本文節(jié)選自作者新書《浪潮將至：技術、權力與未來的沖擊》。界面新聞獲授權刊發(fā)。）
人類的歷史就是一部災難史
在某種程度上，人類的歷史就是一部災難史。大流行病廣泛存在。其中有兩場大流行病曾導致世界上多達30%的人口死亡：6世紀的查士丁尼瘟疫和14世紀的黑死病。1300年，英格蘭的人口約為700萬，但到了1450年，由于瘟疫的肆虐，人口銳減到僅剩200萬。
當然，災難也可能是人為造成的。一戰(zhàn)和二戰(zhàn)分別導致全球約1%和3%的人口死亡。隨著原子彈的出現(xiàn)，人類現(xiàn)在擁有了足以多次毀滅地球上所有生命的致命力量。過去需要數(shù)年甚至數(shù)十年才可能發(fā)生的災難性事件，現(xiàn)在只需按下按鈕，便可在幾分鐘內發(fā)生。
隨著新的技術浪潮逼近，我們又朝著潛在的災難邁出了一大步。風險的上限顯著提升，同時，那些企圖釋放災難性力量的人所擁有的途徑也大幅增加。我們將從國家的脆弱性和國家職能所面臨的威脅出發(fā)，展開更廣泛的討論，并進一步設想：在技術遏制無法實現(xiàn)的情況下，人類世界遲早會發(fā)生什么。
這些技術中的絕大多數(shù)都將用于有益目的。雖然它們的風險是我討論的焦點，但我們必須記住，這些技術也將日復一日地改善無數(shù)人的生活。我們探討的是幾乎沒人愿意看到的極端情況，尤其是開發(fā)這些工具的人所不愿看到的。然而，即使這些情況僅代表極罕見的應用案例，我們也不能忽視它們。在新的技術浪潮下，不法分子有可能造成嚴重破壞，引發(fā)大規(guī)模的不穩(wěn)定。請想象一下，當任何一個具備一定能力的實驗室或黑客都能合成復雜的DNA鏈時，我們離災難性事件還有多遠？
最終，隨著史上最具影響力的技術滲入我們生活的方方面面，極端情況的發(fā)生概率也將大幅提升。一定會出現(xiàn)一些問題，其嚴峻程度和擴散速度都將與技術所蘊含的巨大能力相當。新技術浪潮的4個特征預示著，如果不在各個層面采取強有力的遏制措施，那么像人為策劃的流行病這樣的災難性后果將比以往任何時候都更可能發(fā)生。
這是不可接受的。然而，這里存在一個困境：人們同樣難以接受那些最為穩(wěn)妥的技術遏制方案，因為它們可能會將我們引向專制主義和反烏托邦的道路。
一種可能性是，社會轉向技術驅動的全面監(jiān)控模式。這種強制執(zhí)行的機制，旨在應對那些難以控制或根本不受控制的技術。這是以犧牲自由為代價來換取安全。另一種可能性是，人們選擇徹底遠離技術前沿。這種情況不大可能發(fā)生，而且這顯然并非我們所尋求的解決方案。從理論上講，能夠應對這一關乎人類未來命運的困境的唯一實體，正是民族國家體系。我們需要它來遏制技術力量，而這一體系正在這些技術力量的沖擊下面臨崩塌的風險。
隨著時間的推移，這些技術的影響將迫使人類在災難與反烏托邦的兩種極端之間探尋一條中間道路。這已成為我們這個時代的根本性困境。
關于即將到來的技術浪潮所帶來的風險，人工智能領域的隱患尤其引人關注，而其風險仍在不斷攀升。一旦軍隊實現(xiàn)全面自動化，沖突的發(fā)生門檻將會顯著降低。戰(zhàn)爭可能因某些永遠難以明確的原因而意外觸發(fā)，人工智能系統(tǒng)在檢測到特定行為模式或威脅時，可能會立即以勢不可當?shù)牧α孔龀龇磻��？梢哉f，這樣的戰(zhàn)爭將呈現(xiàn)出一種完全陌生的性質，它容易迅速升級，并帶來前所未有的毀滅性后果。
正是基于這樣的邏輯，我常聽到這類聲音：“通用人工智能是人類所面臨的最大風險！它將毀滅世界！”然而，當被追問那將是怎樣的場景，那一切將如何發(fā)生、有多么危險時，人們開始回避，給出含糊不清的回答。他們認為，人工智能可能會占用所有計算資源，將整個世界變成一臺龐大的計算機；隨著人工智能不斷增強，必須認真思考和減輕那些最極端情況的影響。然而，在我們能夠做到這些之前，很多問題可能已經(jīng)發(fā)生。
在未來10年里，人工智能將成為歷史上最強大的力量放大器。這就是為什么它將引發(fā)大規(guī)模的權力重新分配。它將成為人類進步的最大加速器，但也將為戰(zhàn)爭和事故、恐怖組織、專制政府、權力過度擴張的公司以及公然盜竊和故意破壞等危害行為提供助力。設想一個能夠輕松通過現(xiàn)代圖靈測試卻用于災難性目的的通用人工智能。先進的人工智能和合成生物學技術不僅能為那些致力于尋找新能源或研發(fā)改善生命的藥物的組織所用，也可能成為像特德卡欽斯基這樣的恐怖分子的工具。
人工智能既極具價值，又充滿危險，因為它正是人性的最好與最壞方面的延伸。作為一種基于學習的技術，它能夠持續(xù)適應、不斷探索，生成全新的策略與見解，這些可能遠遠超出以往的人工智能的考慮范圍。無論是要求它提出切斷淡水供應的方法、讓股市崩潰、觸發(fā)核戰(zhàn)爭，還是設計出終極病毒，它都能做到。相較于設想的巨型回形針場景或奇異的科技惡魔，我更擔憂的是在未來10年內，人工智能將會放大哪些現(xiàn)有的力量。
如果未能遏制即將到來的技術浪潮，災難的降臨就是遲早的事。
一種自我強化的“人工智能專政”
阻止災難發(fā)生顯然是緊迫之事。災難越大，利害關系越大，對對策的需求也越大。如果災難的威脅變得過于嚴峻，那么政府可能會得出結論，即阻止災難的唯一方法是嚴格控制技術的各個方面。這將確保沒有任何東西逃過安全警戒線，沒有任何失控的人工智能或人造病毒能夠被制造、被泄漏，甚至被研究。
技術已滲透到我們文明的方方面面，因此，監(jiān)控技術就意味著監(jiān)控一切。每個實驗室、工廠、服務器，每段新代碼，每串合成的DNA，每個企業(yè)和大學，每個隱匿在森林小屋中的生物黑客，每個龐大的匿名數(shù)據(jù)中心，無一例外。面對即將到來的技術浪潮所帶來的前所未有的復雜局面，為了遏制潛在的災難，我們必須采取前所未有的應對措施。這不僅要求對一切進行嚴密監(jiān)控，還需要保留在必要時制止一切的能力。
一定會有人提出這樣的觀點：我們應該讓權力集中到極端程度，構建全景式的監(jiān)控體系，對人類生活的方方面面做出細致安排，以確保大流行病或人工智能失控等情況永遠不會發(fā)生。許多國家會逐漸說服自己，真正實現(xiàn)這一目標的唯一途徑就是實施我們在上一章中所描述的那種全面監(jiān)控，即由強大技術支持的全面控制。這無疑打開了通往反烏托邦世界的大門。事實上，面對潛在的災難，對某些人而言，反烏托邦的結果可能會被視為一種解脫。
這些提議目前仍處于邊緣地位，特別是在西方社會。然而，在我看來，它們受到更廣泛的關注只是時間問題。即將到來的技術浪潮為反烏托邦式的統(tǒng)治提供了動機和手段，即在穩(wěn)步增加的數(shù)據(jù)搜集和強制措施的支持下，形成一種自我強化的“人工智能專政”。
只要出現(xiàn)巨大的災難，人們就會呼吁建立極端的監(jiān)控設施，以防未來再次發(fā)生類似事件。當技術出現(xiàn)問題時，技術限制和打壓措施會在多久后出現(xiàn)呢？在可能面臨災難的壓力下，誰又能有效地反對這些措施呢？監(jiān)控式的反烏托邦機制會在多久后生根發(fā)芽，并進一步擴散和深化呢？隨著局部的技術失敗案例不斷累積，加強控制的呼聲也會越來越高。而隨著控制的加強，權力的制衡往往會被削弱，這將改變總體的社會趨勢，為進一步的權力干預鋪平道路。最終，社會將逐漸進入技術反烏托邦狀態(tài)。
自由與安全之間的權衡是一個古老的兩難困境。
我認為，一個完全透明且基于精細監(jiān)控的壓制性社會，不過是另一種失敗形態(tài)。在這種情境下，即將到來的技術浪潮不會將人類引向繁榮，而是引向繁榮的反面。每一項強制性的、帶有偏見和不公平的技術應用都將被肆意放大。人們來之不易的權利和自由將被剝奪，而對許多國家來說，國家自決權也難免會受到損害。這次被放大的不再是國家的脆弱性，而是徹頭徹尾的壓迫。如果我們避免災難的方式是建立這樣的反烏托邦社會，那么這根本不是一個可以接受的方式。
災難威脅和對安全的渴望將持續(xù)推動人們朝著反烏托邦方向前進。每一場技術浪潮都曾為社會秩序帶來系統(tǒng)性的沖擊。不過迄今為止，以往的技術浪潮尚未帶來廣泛且系統(tǒng)性的全球災難風險。但即將到來的技術浪潮與此前截然不同，這可能促使人類采取一種反烏托邦式的應對方案。
有人認為我們已深陷壓制性局面，我想說，與未來可能的景象相比，我們目前的處境根本不算什么。我們當前的路徑并非唯一的反烏托邦路徑，還有諸多其他潛在的反烏托邦路徑。然而，目前這一路徑似乎與即將到來的技術浪潮及其伴隨的政治挑戰(zhàn)和潛在的災難性后果直接相關。這并非一個抽象的思想實驗。我們必須直面以下問題：技術背后的推動力強大而不可阻擋，人類是否應該暫緩技術的飛速發(fā)展？我們是否應該拒絕技術的無節(jié)制發(fā)展？盡管這種想法看起來不太可能實現(xiàn)，但現(xiàn)在，我們是否應該給技術按下一個暫停鍵？
停滯：另一種災難
數(shù)百年來，技術的持續(xù)發(fā)展似乎使社會得以掙脫歷史規(guī)律的桎梏。然而，認為歷史的動態(tài)演變已經(jīng)停滯不前是一種誤解。21世紀的文明固然與瑪雅文明大相徑庭，但龐大且渴望權力的上層建筑、眾多的人口、能源供應以及文明發(fā)展的硬性限制依然存在；它們所帶來的影響只是被暫時抑制了。
假設存在一種情況，即技術的驅動力能夠被有效遏制。那么，在這種情況下，我們能否全面暫停技術的發(fā)展？答案是否定的，絕對不可能。
現(xiàn)代文明只有依靠持續(xù)的技術發(fā)展才能兌現(xiàn)其承諾。社會體系存在的前提是能夠確保長期的經(jīng)濟增長，這依賴于新技術的發(fā)明和推廣。無論是我們期望以更低的成本享受更多的消費，在不增加稅收負擔的情況下獲得更多的公共服務，還是我們認為可以在不斷提高生活質量的同時無限制地破壞環(huán)境，國家與公民之間的契約（可以說是最重要的契約）也都建立在技術的基礎之上。
正如我們所討論過的，開發(fā)新技術是應對地球面臨的重大挑戰(zhàn)的關鍵所在。沒有新技術的支持，我們將難以克服這些挑戰(zhàn)。人力和物質資源的消耗成本不容忽視。我們目前所擁有的技術組合雖然在很多方面令人驚嘆，但并沒有明顯的跡象表明它們能夠可持續(xù)地以發(fā)達國家的標準支持超過80億的人口。這一點可能對一些人來說難以接受，但值得強調的是，在不引入新技術的情況下，解決氣候變化問題，或維持不斷提高的生活和醫(yī)療水平，或改善教育和職業(yè)機會，都是不可能實現(xiàn)的。
假設暫停技術發(fā)展是可能的，那么從某種意義上說，這將意味著一種安全保障。首先，它將限制新的災難性風險的出現(xiàn)。然而，這并不意味著我們能成功避開反烏托邦的局面。相反，隨著21世紀的社會日益顯現(xiàn)出脆弱性和不可持續(xù)性，技術的暫�？赡軙l(fā)另一種形式的反烏托邦。如果沒有新技術的支持，一切遲早都會陷入停滯，甚至可能徹底崩潰。
鑒于人口和資源限制，僅僅為了維持現(xiàn)有生活水平，我們可能就需要將全球生產(chǎn)率提高2~3倍。然而，對世界上大部分人來說，僅僅維持現(xiàn)有生活水平仍然是不可接受的。許多國家的兒童死亡率比發(fā)達國家要高出12倍。當然，即使只是保持當前的生活水平，也不僅僅意味著人口和資源方面的壓力，還將加劇氣候緊急狀況。
請注意：停滯不前本身就是災難。
這不僅關乎餐廳勞動力短缺或電池價格昂貴的問題。這意味著現(xiàn)代生活的方方面面都存在崩潰的風險，從而帶來一系列深遠影響，并與眾多本已棘手的問題相互交織。我認為，人們往往低估了我們的生活方式在多大程度上依賴于持續(xù)的技術進步。歷史的先例幾乎是每個過往文明的常態(tài)，都清晰地揭示了這一點。在最好的情況下，停滯不前預示著未來的衰敗；但更可能的情況是，它將導致令人擔憂的崩潰。有些人可能會說，停滯意味著第三種極端情況，使我們面對一個巨大的三難困境。在我看來，這個觀點并不成立。首先，到目前為止，這種路徑是最不可能的選擇。其次，即使這種情況真的發(fā)生了，它也只是以另一種形式呈現(xiàn)了前面所提到的困境。暫停技術發(fā)展并非解決之道；其只會導向另一種形態(tài)的反烏托邦，另一種形式的災難。
即使存在可能性，試圖阻止即將到來的技術浪潮的想法也并不受歡迎。維持現(xiàn)有生活水平已然離不開技術，更不用說提高生活水平了。同時，防止社會崩潰也需要技術的支持。對技術說“不”的代價可能關乎人類的生死存亡。然而，無論我們以何種態(tài)度面對技術，其都伴隨著重大風險和潛在負面效應。
這就是我們面臨的巨大困境。
接下來，我們該怎么辦？
從核時代和數(shù)字時代開始，這一困境逐漸凸顯。1955 年，在生命的最后階段，數(shù)學家約翰馮諾依曼撰寫了一篇名為《我們能在技術中幸存嗎？》的論文。他的觀點與本書的主旨不謀而合，他認為全球社會“深陷迅速成熟的危機之中這場危機的根源在于技術進步所必需環(huán)境已經(jīng)變得過于狹隘且缺乏有序組織”。在論文的結尾部分，馮諾依曼將生存視為“一種可能性”，仿佛他正身處自己設計的計算機所造成的“蘑菇云” 陰霾之下�！凹夹g性風險沒有任何‘解藥’，”他提到，“任何試圖為當前爆炸式的進步尋找自動安全通道的嘗試都將是徒勞的�！�
在技術構建方面，我并非唯一一個既想享受技術帶來的諸多益處，又想消除相關風險的人。有些人會嘲笑這種野心，認為它是一種典型的硅谷式狂妄自大。但是我始終堅信技術仍是改善我們世界和生活的主要驅動力。盡管技術帶來了諸多危害、缺陷和意外后果，但總體而言，它的貢獻迄今為止仍是較大的。畢竟，即便是技術的最嚴厲批評者，也不會拒絕使用熱水壺、服用阿司匹林、觀看電視和乘坐地鐵。對于每一支槍，技術提供了一劑救命的青霉素；對于每一條錯誤信息，技術也協(xié)助揭露真相。
然而，不知為何，自馮諾依曼的時代以來，我和許多人開始對技術發(fā)展的長期軌跡感到憂慮。我擔心的是，技術呈現(xiàn)出了一種其凈收益可能會急劇轉變?yōu)樨撝档目赡苄�，而我們卻無法阻止這種轉變，我們陷入了一種無能為力的困境。
沒有人能確切預知這一切將如何展開。由于該困境涉及的因素廣泛，其具體結果的規(guī)模和性質都難以預測和估量。然而，我堅信，在未來幾十年里，社會繁榮、監(jiān)視與災難威脅之間的權衡狀態(tài)將變得更加尖銳。即使是健康狀況最好的國家體系，也難以應對這樣的困境。
這是人類作為“技術人”所面臨的終極挑戰(zhàn)。
如果這本書對技術的態(tài)度有些自相矛盾，顯得部分積極，部分消極，那是因為這種看似矛盾的觀點恰恰是對我們當前處境最為誠實的評估。我們的曾祖父母若是在世，定會對我們今日世界的富足感到驚嘆，但他們也會對這個世界的脆弱性與危險性感到震驚。隨著新技術浪潮的到來，我們正面臨著一個真正的威脅，面臨一系列潛在的災難性后果這樣的風險甚至關乎人類的生死存亡。技術同時代表了人類最好和最壞的方面。任何片面的觀點都不足以被稱為對技術的客觀審視。唯一合理的技術認識論便是同時認識到技術的正負兩面。
在過去的10年里，這一困境越發(fā)凸顯，擺脫它的任務也變得更加緊迫。審視現(xiàn)實世界，技術遏制似乎難以實現(xiàn)。然而，考慮到那些可能的后果，另一件事情也同樣顯而易見：為了所有人的利益，我們必須讓遏制成為可能。
書號：978-7-5217-6848-0作者：穆斯塔法蘇萊曼（Mustafa Suleyman）邁克爾巴斯卡爾（Michael Bhaskar）出版時間：2024年10月
（文章僅代表作者觀點。責編郵箱：yanguihua@jiemian.com。）
