為了防范人工智能（AI）帶來的重大風(fēng)險，OpenAI決定賦予董事會在安全監(jiān)管方面更高的權(quán)力，給上月剛剛在“宮斗”中獲勝的CEO Sam Altman上“緊箍咒”。
OpenAI美東時間12月18日周一發(fā)布一系列指引，旨在“跟蹤、評估、預(yù)測和防范日益強(qiáng)大的（AI）模型帶來災(zāi)難性風(fēng)險”。OpenAI的所謂“災(zāi)難性風(fēng)險”是指，“可能導(dǎo)致數(shù)千億美元經(jīng)濟(jì)損失或?qū)е露嗳藝?yán)重傷害或死亡的任何風(fēng)險”。
這個27頁篇幅的指引名為“準(zhǔn)備框架”，其中提出，即使公司領(lǐng)導(dǎo)層、即CEO或領(lǐng)導(dǎo)層指定的人認(rèn)為將發(fā)布的AI模型是安全的，公司董事會也可以選擇推遲發(fā)布該模型。其認(rèn)為，雖然OpenAI 的CEO將負(fù)責(zé)日常工作的決策，但董事會將了解有關(guān)風(fēng)險的發(fā)現(xiàn)，并可以否決CEO的決定。
除了對公司領(lǐng)導(dǎo)層和董事會的權(quán)限規(guī)定，OpenAI的準(zhǔn)備框架主要建議，使用矩陣方法，記錄多個類別的前沿AI模型所帶來的風(fēng)險水平，包括行為不端者用AI模型創(chuàng)建惡意的軟件、發(fā)起社會工程攻擊，或者傳播有害的核武或生物武器信息。
具體來說，OpenAI定義了網(wǎng)絡(luò)安全、CBRN（化學(xué)、生物、放射、核威脅）、說服和模型自主四個類別的風(fēng)險閾值，在針對每個風(fēng)險類別實施緩解風(fēng)險措施之前和之后，OpenAI 都會將每種風(fēng)險分為低、中、高或嚴(yán)重四個類級別。
OpenAI規(guī)定，只有風(fēng)險緩解后評級為“中”或以下級別的AI模型，才能部署，只有風(fēng)險緩解后評級為“高”或以下的模型，才能進(jìn)一步開發(fā)，如果不能將風(fēng)險降低到嚴(yán)重以下級別，公司將停止開發(fā)模型。對于緩解風(fēng)險以前被評為高風(fēng)險或嚴(yán)重風(fēng)險的模型，OpenAI還將實施額外的安全措施。
OpenAI將處理安全問題的工作人員分為三個團(tuán)隊。其中，安全系統(tǒng)團(tuán)隊專注于減輕和解決GPT-4等當(dāng)前的產(chǎn)品帶來的風(fēng)險，超對齊團(tuán)隊關(guān)注能力超越人類的未來系統(tǒng)帶來的問題，還有一個名為準(zhǔn)備的新團(tuán)隊，由將從麻省理工學(xué)院（MIT）離職的該校電氣工程與計算機(jī)科學(xué)系（EECS）教授Aleksander Madry領(lǐng)導(dǎo)。
新團(tuán)隊將在強(qiáng)大的模型開發(fā)和實施時對其進(jìn)行評估，將專門監(jiān)督有關(guān)安全方面決策的技術(shù)性工作和操作架構(gòu)，它將推動技術(shù)工作，從而審查前沿模型能力的限制、進(jìn)行評估并綜合相關(guān)報告。
Madry稱，他的團(tuán)隊將反復(fù)評估OpenAI最先進(jìn)的、尚未發(fā)布的AI模型處于何種風(fēng)險級別，每月向OpenAI內(nèi)部的安全顧問組織（SAG）發(fā)送報告，SAG將分析Madry團(tuán)隊的工作，并向CEO Altman和公司董事會提出建議。
本周一公布的指引文件說明，Altman和他的領(lǐng)導(dǎo)班子可以根據(jù)這些報告決定是否發(fā)布新的AI系統(tǒng)，但董事會有權(quán)推翻他們的決定。
包括Madry在內(nèi)，目前他的團(tuán)隊只有四人，他在積極招募忍受，預(yù)計團(tuán)隊成員會達(dá)到15到20人，和現(xiàn)有安全團(tuán)隊以及超對齊團(tuán)隊的人數(shù)相當(dāng)。
Madry希望其他AI公司采用類似的方式評估旗下模型的風(fēng)險，并預(yù)計這可能成為監(jiān)管的典范。
