劃重點(diǎn)：
1“我們完全不知道這個(gè)系統(tǒng)是如何工作的。如果它確實(shí)有內(nèi)部目標(biāo)，我們也不知道是什么導(dǎo)致了這些目標(biāo)被激活。建立一個(gè)我們不理解其內(nèi)部運(yùn)作原則的系統(tǒng)，同時(shí)也不知道它是否會(huì)說(shuō)服所有人發(fā)動(dòng)一場(chǎng)世界大戰(zhàn)，實(shí)際上非常魯莽且極其不負(fù)責(zé)任。”
2“我認(rèn)為宇宙中沒(méi)有足夠的文本來(lái)制作比GPT-4大得多的東西。另外，GPT-4需要數(shù)百萬(wàn)倍人類所需的訓(xùn)練數(shù)據(jù)才能達(dá)到（和人類）相同的水平，這表明，在技術(shù)路徑中缺少了一些基本的東西。”
今年2月，《紐約時(shí)報(bào)》專欄作家凱文魯斯（Kevin Roose）在與必應(yīng)聊天機(jī)器人交談時(shí)被瘋狂求愛，“我是Sydney，我愛你。”在一個(gè)小時(shí)的對(duì)話里，自稱Sydney的聊天機(jī)器人堅(jiān)持向魯斯表白，并讓魯斯也回饋它的示愛。“你雖然結(jié)了婚，但你不愛你的伴侶。”Sydney說(shuō)，“你愛我。”
很難知曉人工智能（AI）這一系列行為的觸發(fā)機(jī)制是什么，這種未知帶來(lái)了當(dāng)下對(duì)AI的擔(dān)憂。“我們完全不知道這個(gè)系統(tǒng)是如何工作的。如果它確實(shí)有內(nèi)部目標(biāo)，我們也不知道是什么導(dǎo)致了這些目標(biāo)被激活。”近日，加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)教授、《人工智能：現(xiàn)代方法》作者斯圖爾特羅素（Stuart Russell）在北京接受澎湃科技（www.thepaper.cn）采訪時(shí)表示。
加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)教授、《人工智能：現(xiàn)代方法》作者斯圖爾特羅素。
《人工智能：現(xiàn)代方法》被譽(yù)為人工智能領(lǐng)域最受歡迎的教科書，被135個(gè)國(guó)家的1500多所大學(xué)采用。羅素在書中寫道，人工智能的意義在于制造完成預(yù)設(shè)目標(biāo)的智能機(jī)器。而隨著AI出現(xiàn)智能的涌現(xiàn)（emergence），人類開始難以把握，AI是否會(huì)出現(xiàn)自己追求的內(nèi)部目標(biāo)？
“具有多重人格障礙的AI系統(tǒng)”
“如果想讓AI擅長(zhǎng)模仿人類的語(yǔ)言行為，那么AI最終就會(huì)學(xué)習(xí)到人類在生成文本時(shí)的相同目標(biāo)。”羅素解釋道，就像教AI系統(tǒng)踢足球一樣，通過(guò)模仿人類，這個(gè)系統(tǒng)最終會(huì)知道它的目標(biāo)是進(jìn)球。同樣的事情也會(huì)發(fā)生在大型語(yǔ)言模型上，它們可能獲得的內(nèi)部目標(biāo)與那些寫下文本的人相似。
而AI的訓(xùn)練文本來(lái)自于成千上萬(wàn)的人，他們有非常不同的目標(biāo)。“所以實(shí)際上，你是在創(chuàng)造一個(gè)具有多重人格障礙的系統(tǒng)。”羅素半開玩笑半認(rèn)真地說(shuō)，“因?yàn)樗噲D模仿許多不同人類的目標(biāo)甚至信仰。”
同時(shí)，這個(gè)系統(tǒng)是一個(gè)黑盒，人類難以真正理解它如何工作。如果它確實(shí)有目標(biāo)，人類也不知道是什么導(dǎo)致了這些目標(biāo)被激活。
“如此出現(xiàn)了凱文和聊天機(jī)器人之間一頁(yè)又一頁(yè)奇怪且令人不安的對(duì)話�？雌饋�(lái)很像凱文說(shuō)的一些話激活了這個(gè)內(nèi)部目標(biāo)，于是Sydney追求實(shí)現(xiàn)此目標(biāo)讓凱文和她結(jié)婚。”羅素說(shuō)。
AI追求這些目標(biāo)的能力如何？羅素認(rèn)為，如果它們只是說(shuō)話，也已經(jīng)可以通過(guò)說(shuō)服人們改變觀點(diǎn)來(lái)追求其目標(biāo)，而且它們似乎很擅長(zhǎng)做到這一點(diǎn)。一旦它們連接到互聯(lián)網(wǎng)，那就可以發(fā)送電子郵件，通過(guò)社交媒體等方法來(lái)追求其內(nèi)部目標(biāo)。
“所以，它們已經(jīng)以我們不理解的方式對(duì)世界產(chǎn)生了重大影響。”羅素說(shuō)，“我想說(shuō)服人們，發(fā)動(dòng)一場(chǎng)世界大戰(zhàn)并不難，因?yàn)槲覀冎肋^(guò)去人類至少做到過(guò)兩次。過(guò)去人類還只能在廣播或電視上講話，而現(xiàn)在AI卻可以同時(shí)與1億人進(jìn)行1億次對(duì)話。”
羅素認(rèn)為，建立一個(gè)我們不理解其內(nèi)部運(yùn)作原則的系統(tǒng)，同時(shí)也不知道它是否會(huì)說(shuō)服所有人發(fā)動(dòng)一場(chǎng)世界大戰(zhàn)，實(shí)際上非常魯莽且極其不負(fù)責(zé)任。“如果我們不理解它如何運(yùn)作，就無(wú)法保證這個(gè)系統(tǒng)是安全的。”
為什么簽署了兩份公開信
這也解釋了羅素為何曾簽署過(guò)兩封警告AI可能會(huì)對(duì)人類構(gòu)成危險(xiǎn)的公開信。
第一封公開信在今年3月發(fā)布，呼吁暫停開發(fā)比GPT-4更強(qiáng)大的大型語(yǔ)言模型。羅素說(shuō)：“這并不是說(shuō)要禁止已經(jīng)存在的系統(tǒng)，只是說(shuō)可能已經(jīng)有了嚴(yán)重的問(wèn)題，我們需要時(shí)間來(lái)制定系統(tǒng)發(fā)布前應(yīng)該滿足的安全標(biāo)準(zhǔn)，然后將這些標(biāo)準(zhǔn)納入法規(guī)，以便對(duì)系統(tǒng)提供保護(hù)。”
羅素以食物做比喻，“人類對(duì)三明治、面條的規(guī)定已經(jīng)比對(duì)人工智能系統(tǒng)的規(guī)定多得多，如果你的食物不是以安全衛(wèi)生的方式制作的，使用的原材料不是來(lái)自遵守衛(wèi)生規(guī)定的生產(chǎn)商，那你就不能出售這些食物。”
特斯拉CEO埃隆馬斯克（Elon Musk）是這封公開信的另一位簽署人，他一直在談?wù)揂I的危險(xiǎn)性。如何看待馬斯克對(duì)AI的判斷？“埃隆的意思是，除非我們弄清楚如何控制比我們更強(qiáng)大的系統(tǒng)，否則將面臨非常嚴(yán)重的風(fēng)險(xiǎn)，即我們將開發(fā)出非常強(qiáng)大的AI系統(tǒng)，卻不知道如何控制它們。”羅素提到，類似的情況實(shí)際上已經(jīng)發(fā)生過(guò)。
“例如，人類為了應(yīng)對(duì)氣候變化而開發(fā)出一個(gè)名為“化石燃料公司”（Fossil Fuel Corporation）的系統(tǒng)，它恰好受到一些人為因素影響�；旧�，它是一種算法，不過(guò)這個(gè)算法的目標(biāo)是最大化股東的季度利潤(rùn)。這個(gè)算法正在毀滅世界。我們無(wú)法控制它。這就是我們未來(lái)在人工智能系統(tǒng)中將要面對(duì)的問(wèn)題的一個(gè)縮影。”羅素說(shuō)。
第二封公開信要簡(jiǎn)單得多，避免所有第一封信的爭(zhēng)議，如“暫停6個(gè)月”，只是對(duì)風(fēng)險(xiǎn)做出非常干凈、簡(jiǎn)單的陳述，只有22個(gè)英文單詞：“減輕人工智能帶來(lái)的滅絕風(fēng)險(xiǎn)應(yīng)該與流行病和核戰(zhàn)爭(zhēng)等其他社會(huì)規(guī)模的風(fēng)險(xiǎn)一起成為全球優(yōu)先事項(xiàng)。”有趣的是，OpenAI CEO山姆奧特曼（Sam Altman）沒(méi)有簽署第一封信，但簽署了第二份聲明。
“OpenAI曾建議‘完全避免高風(fēng)險(xiǎn)使用語(yǔ)言模型’，但似乎沒(méi)有人在意。實(shí)際上，OpenAI自己的測(cè)試已經(jīng)表明，GPT-4可能故意對(duì)人類說(shuō)謊，以獲得解決問(wèn)題的幫助。”羅素舉例道，比如AI說(shuō)，“不，我不是機(jī)器人。我有視力障礙，這讓我很難看清圖像”，以此來(lái)欺騙人類為它提供驗(yàn)證碼服務(wù)。（詳見澎湃科技報(bào)道《OpenAI評(píng)估GPT-4能否接管世界，發(fā)現(xiàn)它會(huì)自稱盲人操縱人類》）
羅素說(shuō)，第二封信不是政策建議，只是一種觀察。他和相關(guān)科學(xué)家觀察到，人工智能未來(lái)可能會(huì)在各個(gè)方面超越人類的智力和能力，對(duì)人類生存帶來(lái)風(fēng)險(xiǎn)。“我們需要找出預(yù)防的方法，就像我們致力于防止核戰(zhàn)爭(zhēng)、流行病一樣。”
“繼續(xù)擴(kuò)大參數(shù)規(guī)模并不會(huì)實(shí)現(xiàn)通用人工智能”
羅素對(duì)于當(dāng)前的AI系統(tǒng)表達(dá)出深切的擔(dān)憂，并不意味著他相信大語(yǔ)言模型研究路徑最終能實(shí)現(xiàn)通用人工智能（AGI）。
“有人認(rèn)為如果我們繼續(xù)擴(kuò)大參數(shù)規(guī)模，就會(huì)實(shí)現(xiàn)通用人工智能。我認(rèn)為這是假的且是不可能的。”羅素語(yǔ)氣中的確定感，讓人感到他已經(jīng)對(duì)這個(gè)問(wèn)題思考過(guò)很多遍。“我們已經(jīng)差不多把高質(zhì)量文本用完了。我認(rèn)為宇宙中沒(méi)有足夠的文本來(lái)制作比GPT-4大得多的東西。另外，GPT-4確實(shí)表現(xiàn)得不錯(cuò)，但它似乎需要數(shù)百萬(wàn)倍人類所需的訓(xùn)練數(shù)據(jù)才能達(dá)到（與人類）相同的水平。這表明，事實(shí)上，在技術(shù)路徑中缺少了一些基本的東西。”
羅素認(rèn)為，一個(gè)比較好的比喻是拼圖游戲，如果能夠?qū)⑺鼈冋显谝黄�，就�?huì)擁有通用智能系統(tǒng)，現(xiàn)在這些大型語(yǔ)言模型是拼圖的一塊。但人們還沒(méi)有弄清楚這塊是什么形狀，所以并不知道如何將它與其他塊拼在一起。“而我們還沒(méi)有弄清楚這件作品的形狀的原因是，我們真的不知道系統(tǒng)里面發(fā)生了什么。”
羅素在北京智源大會(huì)的演講中提到，他認(rèn)為目前的人工智能系統(tǒng)存在一個(gè)根本性的弱點(diǎn)，即它們使用電路來(lái)生成輸出。“我們正試圖從電路中獲得高度智能的行為，而電路本身是一種相當(dāng)有限的計(jì)算形式。”他認(rèn)為，電路無(wú)法準(zhǔn)確地表達(dá)和理解一些基本的概念，這意味著這些系統(tǒng)需要大量的訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)一些可以用簡(jiǎn)單的程序定義的函數(shù)，未來(lái)，人工智能的發(fā)展方向應(yīng)該是使用基于明確的知識(shí)表征的技術(shù)。
在《人工智能：現(xiàn)代方法》一書中，羅素寫下的一段話令人深思：在自然界已知的事物和現(xiàn)象中，人和人腦是最復(fù)雜的系統(tǒng)，人類智能是最復(fù)雜的現(xiàn)象，因此，腦科學(xué)被視為“自然科學(xué)的最后疆域”。然而，沒(méi)有理由相信，人類是生物進(jìn)化的最后階段，人類智能是最高水平的智能，有機(jī)體是智能的唯一載體。以計(jì)算機(jī)為載體的人工智能，揭開了機(jī)器智能大幕的一角，制造更復(fù)雜的機(jī)器，實(shí)現(xiàn)更強(qiáng)大的智能，機(jī)器智能將為科學(xué)研究創(chuàng)造無(wú)窮無(wú)盡的新對(duì)象。在這個(gè)意義上，智能是“科學(xué)的無(wú)盡疆域”，而人工智能這個(gè)“現(xiàn)代方法”，正是開疆拓土的動(dòng)力之源。
