IT之家 10 月 27 日消息,OpenAI今日宣布,正建立 Preparedness 團(tuán)隊來評估通用 AI(Artificial General Intelligence,AGI)可能造成的災(zāi)難性風(fēng)險,該團(tuán)隊交由麻省理工學(xué)院(MIT)的可部署機器學(xué)習(xí)中心主任 Aleksander Madry 主導(dǎo)。
▲ 圖源 OpenAI
OpenAI 表示,未來的 AI 模型雖然擁有造福全人類的潛力,但也可能帶來嚴(yán)重的風(fēng)險,因此需要建立一個強大的框架來監(jiān)控、評估、預(yù)測及防范這些 AI 模型。
據(jù)悉,OpenAI 設(shè)立了 Preparedness 團(tuán)隊,將針對各種 AI 模型進(jìn)行能力評估及紅隊測試,以追蹤、預(yù)測及防范各類別的災(zāi)難性風(fēng)險。
IT之家發(fā)現(xiàn),OpenAI 宣稱的相關(guān)風(fēng)險,主要包含以下三大類:
說服人類能力:AI輸出的內(nèi)容是否會影響人類的行為
生成不當(dāng)內(nèi)容:AI 是否會生成有關(guān)化學(xué) / 生物 / 放射性 / 核(CBRN)等危險內(nèi)容
自主復(fù)制與適應(yīng)能力(Autonomous Replication and Adaptation,ARA):AI 是否會在自我迭代中脫離人類的控制
OpenAI 已開始招募不同背景的人才加入 Preparedness 團(tuán)隊,同時推出 AI Preparedness 挑戰(zhàn)賽,鼓勵參賽者以黑客名義,“破解”Whisper、Voice、GPT-4V、DALLE3 等模型,前 10 名將可獲得 OpenAI 所提供的、價值 2.5 萬美元(IT之家備注:當(dāng)前約 18.3 萬元人民幣)的 API 使用額度。