為了進(jìn)一步確保人們對AI的擔(dān)憂不成為現(xiàn)實(shí)，OpenAI開始采取行動。
10月27日，OpenAI在其官網(wǎng)宣布，成立名為“Preparedness”（準(zhǔn)備）的AI風(fēng)險(xiǎn)防范小組。
該小組由麻省理工可部署機(jī)器學(xué)習(xí)中心主任Aleksander Madry領(lǐng)導(dǎo)，旨在“跟蹤、預(yù)測和防范未來人工智能系統(tǒng)的危險(xiǎn)”，包括從AI“說服和欺騙”人類的能力（如網(wǎng)絡(luò)釣魚攻擊），到惡意代碼生成能力。
OpenAI在博文中寫道，前沿人工智能模型的能力將超過目前最先進(jìn)的現(xiàn)有模型，有可能造福人類，但也有可能帶來越來越嚴(yán)重的風(fēng)險(xiǎn)：
要管理前沿人工智能帶來的災(zāi)難性風(fēng)險(xiǎn)，就必須回答以下問題：
前沿人工智能系統(tǒng)在現(xiàn)在和將來被濫用時(shí)有多危險(xiǎn)？
我們?nèi)绾尾拍芙⒁粋�(gè)強(qiáng)大的框架來監(jiān)測、評估、預(yù)測和防范前沿人工智能系統(tǒng)的危險(xiǎn)能力？
如果我們的前沿人工智能模型權(quán)重被盜，惡意行為者會如何選擇利用它們？
我們需要確保我們具有對高能力人工智能系統(tǒng)安全所需的理解和基礎(chǔ)設(shè)施。
OpenAI表示，在Aleksander Madry的領(lǐng)導(dǎo)下，Preparedness團(tuán)隊(duì)將把前沿模型的能力評估、評價(jià)和內(nèi)部紅隊(duì)（即對模型進(jìn)行滲透測試的攻擊方）緊密聯(lián)系在一起，從OpenAI在不久的將來開發(fā)的模型，到真正“具有AGI級能力”的模型。
值得注意的是，OpenAI在博文中還將“化學(xué)、生物、放射性和核 (CBRN) 威脅”列為與“自主復(fù)制和適應(yīng)（ARA）”、“個(gè)體化說服”和“網(wǎng)絡(luò)安全”同等的“災(zāi)難性風(fēng)險(xiǎn)”。
OpenAI還稱，它愿意研究“不那么明顯”、更接地氣的AI風(fēng)險(xiǎn)領(lǐng)域。為了配合Preparedness的啟動，OpenAI正在向社區(qū)征集風(fēng)險(xiǎn)研究的想法，前十名將獲得2.5萬美元獎金和Preparedness的職位。
“AI末日”主義
盡管OpenAI引領(lǐng)了今年的“AI熱”，但其創(chuàng)始人Sam Altman卻是一位著名的“人工智能末日論”者他時(shí)常擔(dān)心人工智能“可能會導(dǎo)致人類滅絕”。
今年5月，Altman就出席了美國國會一場名為“AI 監(jiān)管：人工智能規(guī)則（Oversight of AI: Rules for Artificial Intelligence）”的聽證會。在聽證會上，Altman同意了議員們的觀點(diǎn)，即有必要對他的公司以及谷歌和微軟等公司正在開發(fā)的日益強(qiáng)大的人工智能技術(shù)進(jìn)行監(jiān)管。
在聽證會后，以Altman為領(lǐng)導(dǎo)的OpenAI的高層們又在官方發(fā)表了一篇博文，呼吁“像監(jiān)管原子彈一樣監(jiān)管AI”：
我們可能最終需要類似國際原子能機(jī)構(gòu)（IAEA）的機(jī)構(gòu)來監(jiān)管超級智能方面的工作；任何超過一定能力（或計(jì)算資源等）門檻的努力都需要受到國際機(jī)構(gòu)的監(jiān)督，該機(jī)構(gòu)可以檢查系統(tǒng)、要求進(jìn)行審計(jì)、測試產(chǎn)品是否符合安全標(biāo)準(zhǔn)，對部署程度和安全級別進(jìn)行限制等等。追蹤計(jì)算資源和能源的使用情況可以在很大程度上幫助我們實(shí)現(xiàn)這一想法。
三份公開聲明
由于AI發(fā)展的速度前所未見，對于AI的擔(dān)憂，也開始屢屢被提及。
3月，在馬斯克的率領(lǐng)下，數(shù)千名硅谷企業(yè)家和科學(xué)家聯(lián)合簽署了一份名為《暫停大型人工智能研究》的公開信，呼吁所有人工智能實(shí)驗(yàn)室立即暫停比GPT-4更強(qiáng)大的人工智能系統(tǒng)的訓(xùn)練，暫停時(shí)間至少為6個(gè)月：
最近幾個(gè)月人工智能實(shí)驗(yàn)室掀起AI狂潮，它們瘋狂地開展AI競賽，開發(fā)和部署越來越強(qiáng)大的AI。
不幸的是，目前為止，沒有任何人能理解、預(yù)測或可靠地控制AI系統(tǒng)，也沒有相應(yīng)水平的規(guī)劃和管理。
5月，人工智能安全中心組織的一份聲明稱，“與流行病和核戰(zhàn)爭等其他社會規(guī)模風(fēng)險(xiǎn)一樣，減輕人工智能帶來的滅絕風(fēng)險(xiǎn)應(yīng)該成為全球優(yōu)先事項(xiàng)。”
該聲明由500多名著名學(xué)者和行業(yè)領(lǐng)袖簽署，其中包括圖靈獎獲得者杰弗里辛頓（Geoffrey Hinton）和約書亞本吉奧（Yoshua Bengio），也包括3個(gè)最著名AI公司的首席執(zhí)行官：OpenAI的Sam Altman、DeepMind的德米斯哈薩比斯（Demis Hassabis）和Anthropic的達(dá)里奧阿莫代（Dario Amodei）。
本周早些時(shí)候，辛頓和本吉奧在內(nèi)的24名人工智能專家再次發(fā)表公開文章，呼吁各國政府采取行動管理人工智能帶來的風(fēng)險(xiǎn)，并號召科技公將至少三分之一的AI研發(fā)預(yù)算用于確保安全：
我們呼吁主要科技公司和公共投資者將至少三分之一的人工智能研發(fā)預(yù)算用于確保安全和合乎道德的使用，這與他們對人工智能能力的投資相當(dāng)。
我們迫切需要國家機(jī)構(gòu)和國際治理機(jī)構(gòu)來執(zhí)行標(biāo)準(zhǔn)，以防止魯莽行為和濫用。為了跟上快速進(jìn)步并避免僵化的法律，國家機(jī)構(gòu)需要強(qiáng)大的技術(shù)專長和迅速采取行動的權(quán)力。為了應(yīng)對國際競爭態(tài)勢，他們需要有能力促進(jìn)國際協(xié)議和伙伴關(guān)系。
最緊迫的審查應(yīng)該是前沿的人工智能系統(tǒng)：少數(shù)最強(qiáng)大的人工智能系統(tǒng)將具有最危險(xiǎn)和不可預(yù)測的能力。
文章建議，監(jiān)管機(jī)構(gòu)應(yīng)要求模型注冊、保護(hù)舉報(bào)人、報(bào)告事件以及監(jiān)控模型開發(fā)和超級計(jì)算機(jī)的使用。為了縮短法規(guī)出臺的時(shí)間，主要人工智能公司應(yīng)立即做出“如果那么”承諾：如果在其人工智能系統(tǒng)中發(fā)現(xiàn)特定的紅線功能，他們將采取具體的安全措施。
本文來自華爾街見聞，歡迎下載APP查看更多
