科技新聞訊 Stuart Russell是人工智能領域的重要學者，供職于加州大學伯克利分校，他在AI領域做出重要貢獻，也是聯(lián)合呼吁暫停開發(fā)人工智能的名人之一。Stuart Russell認為AI的發(fā)展將對人類社會產生深遠影響，如果不對AI的發(fā)展進行適當?shù)墓芾砗捅O(jiān)督，可能會引發(fā)嚴重的社會問題，他強調AI系統(tǒng)的設計和應用必須考慮到道德和倫理因素。
6月10日，在“2023北京智源大會”上，圖靈獎得主、中國科學院院士姚期智與Stuart Russell教授在AI安全與對齊專題論壇進行了專家對談。姚期智認為，人類首先要更好地理解自己，否則很難有效地管理機器與人的互動。Stuart Russell認為，人類對未來有各自的偏好，AI系統(tǒng)應該為人類服務，但它的行動范圍必須被限制在這個人關心的領域內，避免損害其他人的利益。
核心觀點：
1、如果你想要一個能夠響應個人愿望的AI系統(tǒng)，那么你必須明確表明，這個AI系統(tǒng)的行動范圍被限制在這個人關心的領域內，它不能在追求這個人的利益時傷害到其他人。
2、經濟學中有一種被稱為“地位商品”的東西。你重視它不是因為物品本身的價值，而是因為它能展示你的優(yōu)越性。AI系統(tǒng)應該考慮地位商品嗎？如果我們說不，那么這將會對社會運作方式產生巨大的影響，這是一個非常復雜的問題。
3、與其構建通用的人工智能，不如構建能解決特定窄領域問題的人工智能系統(tǒng)，如蛋白質折疊、交通預測等問題。這些系統(tǒng)既無自我，也無行動范圍，不會產生大規(guī)模的風險。
4、人工智能要成為一門科學，就像我們了解我們所構建的結構與我們所期望的屬性之間的關系一樣。大型語言模型領域還不是這樣一門科學。我們不知道它為什么具有這些屬性。事實上，我們甚至也不知道它具有什么屬性。
以下為對談精華內容：
姚期智：Stuart，很高興再次見到你。你的演講深入而富有洞見，對AI和大型語言模型的發(fā)展給出了均衡的觀點，這是非常少見的。你覺得我們該如何協(xié)調好人與機器這兩個差異巨大的實體之間的關系？人類的利益關系錯綜復雜，我認為，除非我們首先更好地理解自己，否則我們如何可能有效地管理機器與人的互動？
在短期內，我們應該如何防止人類創(chuàng)建強大的AI，以避免人們?yōu)閷崿F(xiàn)自己的目標而不惜犧牲他人？例如，像你剛才提到的，人們可能會盡力提高點擊率。我想開發(fā)一種AI，它追求的不僅僅是潛在的議程。你說到機器可能會試圖改變人類行為，但我想更準確的說法應該是，機器的所有者可能會試圖改變人類行為。你說你的公司不應開發(fā)這樣的程序，我同意，因為程序的復雜性使得隱藏某些行為變得相對容易。
那么，我的問題是，我們是不是正在創(chuàng)造一個巨大的問題，即如何協(xié)調人類的理想？我們真正想要什么？我不確定我們是否真的思考過一個理想的世界應該是怎樣的，假設機器只是一個無害的工具，能做我們想要做的所有事情，我們甚至可能并不清楚自己真正想要什么。這就是我的問題。
Stuart Russell：你的問題確實很重要。特別是，我們無法將我們的目標清晰地定義出來，比如，我們無法將我們對未來的目標定義到深度強化學習系統(tǒng)中，因為我們自己并不清楚這個目標應該是什么。因此，機器知道它不知道目標是什么。
總的來說，人類對未來有一種偏好，這種偏好可以理解為：如果我能給你展示兩個關于未來的電影，描述的是你和你的家人在你所在的國家的生活，可能還包括整個人類的命運。你只需要告訴我你更喜歡哪一部電影，有時你可能會說你對這兩部電影都無所謂，這都沒問題。關鍵在于，你有潛在的能力選擇你更喜歡的未來，盡管我們無法在看過這些電影之前就做出選擇，但我們有這樣做的潛力。
你的問題涉及到一個重要的議題，那就是為一個人工作的機器和為全人類工作的機器之間的區(qū)別。我們可以思考這兩個問題。在我所說的"協(xié)助游戲"中，我們主要處理的是一個人與一臺機器的關系，也有一個人與多臺機器的關系。我們如何確保這些機器，即使它們都想幫助那個人，也能成功地互相協(xié)作？
當有一個或多個機器與許多人一起時，這就涉及到道德哲學的基本問題。首先，我認為AI系統(tǒng)應該為人類服務。如果你想要一個能夠響應個人愿望的AI系統(tǒng)，那么你必須明確表明，這個AI系統(tǒng)的行動范圍被限制在這個人關心的領域內，它不能在追求這個人的利益時傷害到其他人。
我認為，AI系統(tǒng)應該默認為全人類工作。如果它在本地操作，如在我后院割草，那么與其他人的利益就不特別相關。如果它在一家大報紙上發(fā)表文章，那么它可能會影響到全世界每一個人的利益。它應該考慮到每一個可能被其行動影響的人的利益。這就涉及到了道德哲學家們長期以來一直在探討的問題。
在中國，墨子在公元前500年就提出了普遍關愛的概念，意味著在做出道德決策時，應考慮到每個人的利益。這種觀念在18世紀的西方哲學中以功利主義的形式再次出現(xiàn)。我認為有一種基于所謂的偏好功利主義的復雜形式，能夠合理地考慮到每個人的利益。
然而，即使在形式功利主義中，也存在一些未解決的問題，例如，當決策可能影響實際存在的人數(shù)時，我們應該如何做出決策？我們是希望有一個人口眾多但不太快樂的世界，還是一個人口較少但非�？鞓返氖澜纾繉@些問題，我們并沒有一個好的答案，但我們必須給出答案。這些都是道德哲學的核心問題，因為AI系統(tǒng)將有這樣的能力。我們必須確保他們正確地使用這種能力。
姚期智：你說得對，我們確實需要區(qū)分個人小規(guī)模的偏好和那些可能影響到整個社會的事情。但我對后者比較悲觀，因為這并不只是AI的問題，更多的是關于現(xiàn)代世界，尤其是由于生物技術、核能等強大工具的出現(xiàn)。
現(xiàn)在，我認為最嚴重的問題是，我們正在通往的、解決人類問題的AGI的力量。
世界上許多地方的社會嚴重分裂，一方面有50%，另一方面也有50%，而且每一方都堅信他們是對的�，F(xiàn)在，AI有能力幫助進行宣傳，這確實是一個嚴重的問題，因為機器可以寫1萬封熱情的信件提交給報社，而這可能會影響到一場嚴肅辯論的權力平衡。
現(xiàn)在看來，我們似乎沒有任何解決這些問題的希望。如果我們連人們對這些重要問題的偏好是什么都不清楚，我們怎么能假裝它們不存在呢？你怎么看？
似乎在許多地方，社會一直在與這個問題作斗爭。我認為在中國這個問題可能沒那么嚴重，但在許多其他地方，情況卻是這樣。我們應該如何開始處理這個問題呢？因為人類有許多不同的目標，我們有很多想要的東西。
如果我們不解決這個問題，我們甚至都無法開始解決如何控制AI或AGI的問題。
Stuart Russell：你的問題中融合了多個子問題。我確實認為18世紀功利主義的誕生是人類的一大進步。在那之前，為了使國家中的每一個人受益而制定公共政策的想法是前所未有的。以前的決策更傾向于讓貴族、國王、皇帝等富人和有權勢的人受益，普通人的利益往往被忽視。
我們現(xiàn)在可以看到世界各地的很多國家都發(fā)生了變化，大多數(shù)管理良好的政府都認為他們的職責是提高國民的整體福祉。正如你所提到的，福祉的定義仍存在一些爭議，對吧？福祉并不只是GDP，也包括各種形式的自由，可能還包括某些團體對其他團體的特權等問題。我認為這些都是功利主義中一些尚未解決的問題。
在功利主義中有一個簡單的問題：對于那些從他人的痛苦中獲取快樂的人，你應該如何對待他們？你應該將他們的利益考慮在整體福祉之內嗎？我認為一個簡單的答案是，不，你不應該去滿足一個從痛苦中獲取快樂的人的需求。
但實際上，還有很多其他人關心的問題，我們認為這些問題更無辜，但在數(shù)學上，這些問題的性質與施虐狂的性質相同。我舉一個簡單的例子，經濟學中有一種被稱為“地位商品”的東西。你重視它不是因為物品本身的價值，而是因為它能展示你的優(yōu)越性，比如你支持的隊伍贏得了足球、籃球或棒球比賽，或者你贏得了諾貝爾獎。諾貝爾獎的價值不在于你可以得到100萬美元，而在于其他人沒有得到。這就是我們所說的“地位商品”。
地位商品的本質是零和游戲。簡單來說，不是每個人都能成為最優(yōu)秀的1%。所以，如果你從成為1%中的一員中獲取個人價值和自尊，那么我們不能給每個人這種自尊。那么在做出代表社會的決定時，AI系統(tǒng)應該考慮地位商品嗎？如果我們說不，那么這將會對社會運作方式產生巨大的影響。這是一個非常復雜的問題。我認為，很多社會問題其實源自于地位商品，而這些地位商品是無法讓每個人都實現(xiàn)的。
姚期智：現(xiàn)在，我要轉向另一個問題。我很欣賞你的演講和你的工作，你提出了一種優(yōu)雅而可能有效的解決方案來處理一個關鍵問題，包括你的人工智能方法。你建議嚴格利用可證明的代碼來構建關鍵的人工智能系統(tǒng)。這種可能性存在嗎？這是否符合你們的理念？能否制定一個人工智能應用白名單？最好的是，人工智能系統(tǒng)應該被用來促進人類福祉，并產生積極的影響。
例如，我們完全支持使用人工智能設計藥物和解決癌癥問題。有些我們愿意做的事情是無爭議的。它們將使GDP增長，至少會增長5倍，甚至可能增長10倍。我們能否主張把重要的人工智能大系統(tǒng)集中在這些白名單項目上？當然，我們可能無法阻止個別研究者進行他們的個人項目。
我認為這與互聯(lián)網安全有相似之處。在所有的主流大學里，人們不會教授如何黑客入侵互聯(lián)網，可能除了伯克利大學以外。
所以我在思考，這種方法可能有用，但可能不適合大規(guī)模推廣，以免產生不穩(wěn)定性。在我們找到一種全面、嚴謹和系統(tǒng)化的方法之前，我們是否可以采用這種方式來推進有益的人工智能？因為，正如你所說，從某種意義上說，我們其實還處于實驗階段。我們真的不確定會出現(xiàn)哪些大問題，因為有些聰明人可能會利用這種強大的技術做一些搗亂的事情。
Stuart Russell：我認為我們還有很長的路要走，才能理解如何大規(guī)模地解決“協(xié)助游戲”問題，然后如何確保人們使用這些系統(tǒng)。埃里克德雷克斯勒在過去幾年一直在研究人工智能安全，他提出了一個非常類似的觀點，他稱之為綜合人工智能服務。他的觀點是，與其構建通用的人工智能，不如構建能解決特定窄領域問題的人工智能系統(tǒng)，如蛋白質折疊、交通預測等問題。這些系統(tǒng)既無自我，也無行動范圍，不會產生大規(guī)模的風險。我認為這是一種非常合理的短期解決方案。
例如，我們可以要求OpenAI不再發(fā)布通用系統(tǒng)給數(shù)十億人。以一個可能出錯的例子來說，Sam曾談過一個試圖優(yōu)化農業(yè)的人工智能系統(tǒng)，可能會犯下導致生態(tài)災難等錯誤。但僅通過與大規(guī)模的人類對話，如果你能與數(shù)十億人交談，你就可能讓這些人對其他國家產生敵意，或者減少對氣候變化的關注。這可能會使我們陷入核戰(zhàn)爭或氣候災難，而我們甚至不會意識到這是由人工智能系統(tǒng)引起的。這可能只是通過對話產生的，系統(tǒng)可能有一些我們無法檢測的內在目標，將我們推向這個方向。
所以我認為已經發(fā)布的系統(tǒng)存在巨大的風險，人們已經對這些系統(tǒng)被故意濫用以傳播虛假信息非常擔憂。我認為對于這個問題，有一些結構性的解決方案。但更隱蔽的問題是，這些系統(tǒng)可能像社交媒體算法一樣，將我們推向特定的方向，而我們甚至沒有意識到它正在改變公眾的態(tài)度和對未來的看法。我認為這對我來說是非常危險的。
所以我不同意這樣一個觀點，即我們唯一能了解人工智能安全性的方式是在現(xiàn)實世界中部署數(shù)十億個系統(tǒng)，并觀察發(fā)生了什么。在疫苗領域，我們并不這樣做，對嗎？我們在部署之前會測試疫苗，確保它是安全的，因為我們將向數(shù)十億人注射疫苗。我們在人工智能領域，也需要用一種完全不同的思維方式來考慮我們所做的事情。
姚期智：從更樂觀的角度來看，正如你所說，盡管大型人工智能系統(tǒng)可能是超出我們控制的怪物，但通過適當?shù)脑O計，我們有方法來馴服它們，并制定適當?shù)膮f(xié)議。這讓我想起了一種類似情況的新技術，即量子技術和量子計算機，看起來它們將在接下來的幾年內問世。
理論家已經找到了控制量子系統(tǒng)的方法，甚至是那些惡意的量子機器，只需使用經典手段就可以實現(xiàn)。我認為有一件有趣的事情是，量子機器在一個非常不同的領域中工作，基本上，我們人類并不具備處理它的良好直覺。但是，只要你用更多的只用語言，只用經典對象，就可以對它們進行測試，看它們是否偏離了最初的設計目的，即使有人同意，他們不會向你展示代碼，我會向你展示如何進行測試。這在某種程度上與醫(yī)學科學相似，我們可能并不完全理解藥物分子層面的工作原理，但我們可以進行測試。
所以我認為你提到的那種方式給了我希望，即使人類是一個非常微弱的種族，正如Harris所說的，我們也許能夠控制一些在宇宙中原本不存在的東西，也就是以一種組織系統(tǒng)化的方式進行如此多的競爭，這是我們無法理解的。也許通過遵循你所提出的思路，我們可以開始看到一些希望，發(fā)展這個領域，并能真正使人工智能系統(tǒng)成為我們的“仆人”。
因此，基本上，根據(jù)我聽到的內容，包括你的演講，我們是否有辦法利用極其有才能的人，無論是在身體上還是在某種程度上，我們是否可以以某種方式對它們進行教育，讓它們?yōu)槲覀兊哪康姆⻊�。我不能百分之百確定這是否能夠實現(xiàn)。我認為從長遠來看，可能會出現(xiàn)某些人與大型人工智能系統(tǒng)合謀，或者與大型人工智能機器或社區(qū)合謀，以實現(xiàn)個人目標。
Stuart Russell：我認為我們將會有一種目前僅適用于核武器的治理方式。我要說的是，如果一群人獲得核武器，他們可能會威脅整個世界，并要挾我們履行他們的目的。
如果這種技術比核武器更強大，我們可能需要以類似的方式管理它。實際上，我認為我們需要比現(xiàn)在對待核武器更好地管理它。有趣的是，在核武器實際被制造出來之前，第一個核彈的專利在1939年由法國提交。我們知道第一顆核彈是在1945年被投放的。在第一次世界大戰(zhàn)期間，一些物理學家正在討論核戰(zhàn)爭的威脅以及它會帶來多么嚴重的后果。他們的觀點是，在這項技術被開發(fā)出來之前，我們需要建立一種治理結構，確保這項技術只用于人類的利益，而不是作為武器使用。
不幸的是，物理學界、建制派和政府沒有聽從他們的建議。如果聽從了，世界的歷史可能會朝著一個非常不同的方向發(fā)展，也許是一個更好的方向。所以我們在創(chuàng)建超級智能之前，有機會在出現(xiàn)嚴重的軍備競賽之前，讓它落實到位。我認為“軍備競賽”這個概念非常有害，因為它導致缺乏合作，導致不信任，導致在安全性方面的失敗。出于所有這些原因，我認為我們應該盡快建立起這種合作。正如Sam所指出的，我們可以同意共享人工智能安全技術。因為每個國家都有分享這些信息的利益。
姚期智：我完全同意。你提到的關于大型語言模型的評論，至少我們理解的是，它們似乎沒有任何內部目標和意愿。我想知道的是，人類行使和展示智能的方式是否是意識到內部目標的存在，這只是一個特例，還是物理世界中可能存在的智能方式。
也許大型語言模型必須通過預訓練來建立一個模型。我們可能無法給出一個簡明的描述，但也許這就是未來智能的樣子。我們只需要接受它我們可能無法理解它。
Stuart Russell：我認為通用智能必須能夠從相對較少的數(shù)據(jù)中高效地學習。我認為宇宙中根本沒有足夠的數(shù)據(jù)供慢速、低效的學習算法實現(xiàn)真正的智能。它還必須能夠根據(jù)長期后果選擇行動，而不僅僅是當前的即時對話目標。
所以明確地說，我認為大型語言模型可能確實有內部目標，并且這些目標指導了即時輸出的選擇。但我不認為系統(tǒng)在思考未來。我不認為它正在建立一個關于世界-自身-世界狀態(tài)的內部模型。它具有對話的一種狀態(tài)，但它沒有世界的內部狀態(tài)。它沒有一個關于世界運作方式的模型。另一個有趣的例子是，你可以說我有20美元，我給了我的朋友安迪10美元。我們還剩下多少錢？它說是30美元。對吧？它不理解當我給你錢時，我自己就沒有了。它只是缺少一些關于世界基本物理的知識。
人工智能要成為一門科學，就像我們了解我們所構建的結構與我們所期望的屬性之間的關系一樣。就像我們建造飛機一樣，飛機有一個物理形狀和引擎等。我們可以展示它們與我們所期望的屬性之間的關系，比如能夠在空中飛行。目前，尤其是大型語言模型領域，它還不是這樣一門科學。我們不知道它為什么具有這些屬性。事實上，我們甚至不知道它具有什么屬性。我們當然無法將這些屬性與內部發(fā)生的事情聯(lián)系起來。因此，我認為人工智能應該是一門更深入的科學，從那個意義上說。
