7月12日，在2023新京報(bào)貝殼財(cái)經(jīng)夏季峰會(huì)“人工智能潮涌 生成數(shù)智未來(lái)”主題論壇上，螞蟻安全天實(shí)驗(yàn)室首席科學(xué)家、螞蟻集團(tuán)可信AI技術(shù)負(fù)責(zé)人張?zhí)煲肀硎荆?ldquo;AI的通用能力和可信要素是大模型發(fā)展的雙翼。負(fù)責(zé)任、可信的人工智能，已經(jīng)成為AI發(fā)展一定需要考量的維度。”
螞蟻安全天實(shí)驗(yàn)室首席科學(xué)家、螞蟻集團(tuán)可信AI技術(shù)負(fù)責(zé)人張?zhí)煲?/p>
大模型帶來(lái)新AI時(shí)代的風(fēng)險(xiǎn)和挑戰(zhàn)
2023 年，以大語(yǔ)言模型為代表的生成式人工智能興起了新一輪 AI 浪潮，AI的通用能力大幅提升，同時(shí)使用門(mén)檻卻大幅下降，給產(chǎn)業(yè)數(shù)字化、以及各行各業(yè)的創(chuàng)新都帶來(lái)巨大的想象力空間。
“大模型是新AI時(shí)代到來(lái)的標(biāo)志。”張?zhí)煲碚f(shuō)，“但同時(shí)，大家也很快注意到，AI技術(shù)的固有風(fēng)險(xiǎn)也被極度擴(kuò)大，伴隨著能力的突破性進(jìn)展和智能涌現(xiàn)，帶來(lái)了更隱蔽、破壞性更強(qiáng)的風(fēng)險(xiǎn)。如此強(qiáng)大能力的技術(shù)，結(jié)合低門(mén)檻的應(yīng)用，在數(shù)字網(wǎng)絡(luò)中打開(kāi)了更大的風(fēng)險(xiǎn)敞口。”
近日，國(guó)家網(wǎng)信辦等七部門(mén)聯(lián)合公布《生成式人工智能服務(wù)管理暫行辦法》，自2023年8月15日起施行，旨在促進(jìn)生成式人工智能健康發(fā)展和規(guī)范應(yīng)用，維護(hù)國(guó)家安全和社會(huì)公共利益，保護(hù)公民、法人和其他組織的合法權(quán)益。國(guó)家互聯(lián)網(wǎng)信息辦公室有關(guān)負(fù)責(zé)人指出，生成式人工智能服務(wù)的發(fā)展與治理需要政府、企業(yè)、社會(huì)、網(wǎng)民等多方參與。
據(jù)了解，螞蟻集團(tuán)對(duì)智能化技術(shù)的投入比較早，基于大規(guī)模業(yè)務(wù)場(chǎng)景的需求，布局了包括知識(shí)圖譜、運(yùn)籌優(yōu)化、圖學(xué)習(xí)、可信AI、大模型等在內(nèi)的AI技術(shù)。
可信AI是螞蟻集團(tuán)在人工智能領(lǐng)域的重點(diǎn)布局之一。螞蟻集團(tuán)從2015年就開(kāi)啟了可信AI技術(shù)的探索和實(shí)踐；2021年，其提出了可信AI技術(shù)架構(gòu)的同時(shí)，斷言“可信AI是數(shù)字化時(shí)代抵御風(fēng)險(xiǎn)的核心能力”；2022年，螞蟻集團(tuán)的核心觀點(diǎn)是要通過(guò)“開(kāi)放的可信AI技術(shù)生態(tài)助力數(shù)字經(jīng)濟(jì)”。通過(guò)可信AI技術(shù)的突破，螞蟻集團(tuán)建設(shè)了一套世界領(lǐng)先的智能風(fēng)控解決方案，支撐了支付寶的資損率連續(xù)三年低于億分之一，保障了十幾億人的數(shù)字化服務(wù)體驗(yàn)。
而在今年大模型出現(xiàn)，新AI時(shí)代到來(lái)的背景下，張?zhí)煲肀硎�，這也給可信AI技術(shù)提出了更高的要求，所以螞蟻集團(tuán)今年的觀察和拋出的觀點(diǎn)就是“新AI時(shí)代亟需安全、可靠、可控的AI技術(shù)”。
張?zhí)煲砼e例稱(chēng)，生成式大模型存在“AI幻覺(jué)”，即“一本正經(jīng)的胡說(shuō)八道”。比如，當(dāng)模型在面對(duì)“不知道”的輸入問(wèn)題，時(shí)常使用虛構(gòu)或偽造的結(jié)論來(lái)充當(dāng)問(wèn)題的答案。同時(shí)，針對(duì)用戶(hù)否定的提示信息，模型也會(huì)趨于否定先前的推理結(jié)果以迎合用戶(hù)的提示，這種就被稱(chēng)為大模型的“幻覺(jué)性”問(wèn)題。
大模型因其算法的高度復(fù)雜性和不確定性、模型運(yùn)行的強(qiáng)自主性導(dǎo)致“黑箱”問(wèn)題和不可解釋?zhuān)沟闷錄Q策鏈路存在高度不理解和不可控性。此外，大模型的隱患還包括隱私安全問(wèn)題和偏見(jiàn)、歧視性等公平問(wèn)題。
針對(duì)大模型等AI創(chuàng)新所帶來(lái)的風(fēng)險(xiǎn)，張?zhí)煲肀硎�，以AI 安全和魯棒性、可解釋性、隱私保護(hù)和公平性為核心的可信AI已經(jīng)成為新階段平衡AI創(chuàng)新與風(fēng)險(xiǎn)的核心技術(shù)手段。
如何為大模型“保駕護(hù)航”？保障用戶(hù)輸入、大模型服務(wù)、生成輸出三環(huán)節(jié)
螞蟻安全天實(shí)驗(yàn)室首席科學(xué)家、螞蟻集團(tuán)可信AI技術(shù)負(fù)責(zé)人張?zhí)煲?/p>
“在新AI時(shí)代，我們看到的不僅是機(jī)遇，還有挑戰(zhàn)。”張?zhí)煲碚f(shuō)，“為解決大模型的安全問(wèn)題，我們需要在用戶(hù)輸入、大模型服務(wù)和生成輸出三個(gè)環(huán)節(jié)做出保障，使得其在應(yīng)用過(guò)程中更加安全、可靠、可控”。”
第一是圍欄防御，“我們對(duì)用戶(hù)輸入過(guò)程中的意圖、話(huà)題本身、以及是否有誘導(dǎo)攻擊等進(jìn)行原子化識(shí)別，檢測(cè)輸入中可能包含的各種內(nèi)容風(fēng)險(xiǎn)、數(shù)據(jù)安全風(fēng)險(xiǎn)、倫理風(fēng)險(xiǎn)和合規(guī)風(fēng)險(xiǎn)等問(wèn)題。”他表示。
“第二是，當(dāng)發(fā)現(xiàn)有風(fēng)險(xiǎn)的時(shí)候，需要能夠快速響應(yīng)。因此，我們構(gòu)建了極速防御的機(jī)制，通過(guò)極速防御技術(shù)，快速迭代風(fēng)險(xiǎn)防控能力。”張?zhí)煲碚f(shuō)，“最后是情景防御。大模型因其使用場(chǎng)景的廣泛，以及語(yǔ)境本身對(duì)其表達(dá)的含義的影響，我們需要在特定場(chǎng)景下，感知其環(huán)境，并在跟用戶(hù)的多輪交互中，結(jié)合多源信息融合綜合判斷風(fēng)險(xiǎn)進(jìn)行防御。”
此外，針對(duì)大模型“深度黑盒”帶來(lái)的不可控性，螞蟻集團(tuán)在大模型的訓(xùn)練和應(yīng)用過(guò)程中，通過(guò)數(shù)據(jù)“去毒”、系統(tǒng)解構(gòu)、對(duì)抗訓(xùn)練、可解釋研究等技術(shù)手段，探索模型可控的保障。
例如，螞蟻集團(tuán)基于多源異構(gòu)數(shù)據(jù)源，通過(guò)不同風(fēng)險(xiǎn)領(lǐng)域?qū)＜夷Ｐ偷挠?xùn)練，實(shí)現(xiàn)了大模型的解構(gòu)，當(dāng)大模型的交互內(nèi)容內(nèi)包含一些倫理傾向時(shí)，就可以自動(dòng)選擇倫理風(fēng)險(xiǎn)的網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)大模型輸出上的“去毒”（抹除倫理信息和價(jià)值引導(dǎo)）。
“通過(guò)模型解構(gòu)設(shè)計(jì)，我們可以使得大模型的具象風(fēng)險(xiǎn)大幅下降，比如犯罪風(fēng)險(xiǎn)漏過(guò)下降58.8%。另外，通過(guò)RLHF/RRHF（強(qiáng)化學(xué)習(xí)）的方式，在支付寶AI反詐產(chǎn)品“叫醒熱線”中應(yīng)用語(yǔ)言大模型，做了4個(gè)關(guān)鍵設(shè)計(jì)來(lái)確保最終輸出給用戶(hù)的叫醒內(nèi)容可控。這一可控能力的應(yīng)用，助力支付寶體系內(nèi)電詐案件率下降10%。”張?zhí)煲碚f(shuō)。
近期，隨著大模型和AIGC（AI生產(chǎn)內(nèi)容）的爆發(fā)式增長(zhǎng)，相關(guān)評(píng)估檢測(cè)也受到廣泛關(guān)注。目前關(guān)于AIGC的評(píng)估主要包括通用能力評(píng)測(cè)（helpful）與安全性（harmless）評(píng)測(cè)兩大方向。
據(jù)了解，在7月7日舉辦的2023世界人工智能大會(huì)上，螞蟻集團(tuán)聯(lián)合清華大學(xué)發(fā)布AI安全檢測(cè)平臺(tái)“蟻鑒2.0”，面向全球開(kāi)發(fā)者免費(fèi)提供AIGC安全性、AI可解釋性、AI魯棒性三項(xiàng)檢測(cè)工具。該平臺(tái)是業(yè)內(nèi)首個(gè)實(shí)現(xiàn)產(chǎn)業(yè)級(jí)應(yīng)用的全數(shù)據(jù)類(lèi)型AI安全檢測(cè)平臺(tái)，覆蓋表格、文本、圖像等多種數(shù)據(jù)和任務(wù)類(lèi)型，可服務(wù)于數(shù)字金融、教育、文化、醫(yī)療、電商等領(lǐng)域的大規(guī)模復(fù)雜業(yè)務(wù)場(chǎng)景。
“蟻鑒2.0”的兩項(xiàng)硬核能力，一是實(shí)現(xiàn)了用生成式AI能力檢測(cè)生成式AI模型，可以對(duì)生成式內(nèi)容完成包括數(shù)據(jù)安全、內(nèi)容安全、科技倫理三大類(lèi)的數(shù)百種風(fēng)險(xiǎn)對(duì)抗檢測(cè)，并會(huì)生成檢測(cè)報(bào)告，幫助大模型更加有針對(duì)性地持續(xù)優(yōu)化。
另一項(xiàng)硬核能力是，“蟻鑒2.0”融入了可解釋性檢測(cè)工具。綜合AI技術(shù)和專(zhuān)家先驗(yàn)知識(shí)，通過(guò)可視化、邏輯推理、因果推斷等技術(shù)，從完整性、準(zhǔn)確性、穩(wěn)定性等7個(gè)維度及20余項(xiàng)評(píng)估指標(biāo)，對(duì)AI系統(tǒng)的解釋質(zhì)量量化分析，幫助用戶(hù)更清晰驗(yàn)證與優(yōu)化可解釋方案。
“我們的設(shè)想是希望能打造普惠、高效、以及魯棒可靠的安全科技，成為行業(yè)數(shù)字化轉(zhuǎn)型升級(jí)最得力的助手。”張?zhí)煲肀硎尽?/p>
文/羅亦丹
編輯 宋鈺婷
校對(duì) 朱名恬 盧茜
