當(dāng)前，隨著生成式人工智能（GenAI）的興起，企業(yè)也面臨著前所未有的安全挑戰(zhàn)。
據(jù)IBM Security發(fā)布的《2023年數(shù)據(jù)泄露成本報告》顯示，僅數(shù)據(jù)泄露一項，2023年全球數(shù)據(jù)泄露的平均成本達(dá)到445萬美元，創(chuàng)該報告有史以來以來最高記錄，較過去三年均值增長了15%。
“GenAI火爆的當(dāng)下，黑客攻擊手段也越來越多樣化，原先需要一個團隊完成的攻擊，現(xiàn)在僅需要一個人，利用不同類型的大模型就可以完成。”Fortinet北亞區(qū)首席技術(shù)顧問譚杰告訴鈦媒體APP，“通過Agent的方式，給不同的AI分配不同任務(wù)，有的負(fù)責(zé)掃描漏洞、有的負(fù)責(zé)制作‘武器’，有的負(fù)責(zé)實施攻擊。”
可見，AI在為企業(yè)業(yè)務(wù)提效帶來便捷，推動降本增效的同時，也為網(wǎng)絡(luò)攻擊者帶來了便捷，在原本錯綜復(fù)雜的網(wǎng)絡(luò)環(huán)境，以及數(shù)據(jù)安全風(fēng)險難題上，增加了新的挑戰(zhàn)。而且，傳統(tǒng)的安全控制已經(jīng)不足以應(yīng)對這些新興風(fēng)險，需要專門針對 AI建立管理策略以保障系統(tǒng)的穩(wěn)健性、合規(guī)性。
享受AI技術(shù)紅利的前提是守住安全的底線，這對身處其中的科技、安全廠商和各行各業(yè)應(yīng)用AI能力的企業(yè)而言，是AI時代一道新的必答題。
AI時代，安全面臨更多挑戰(zhàn)
生成式AI在解放生產(chǎn)力，提高工作效率的同時，也帶來了更多、更嚴(yán)峻的安全問題，包括內(nèi)容偏見、數(shù)據(jù)泄露和 AI 應(yīng)用漏洞等。
據(jù)統(tǒng)計，2023年以來，用AI技術(shù)開展的攻擊，已經(jīng)成為企業(yè)面臨首要網(wǎng)絡(luò)威脅，騰訊安全總經(jīng)理周斌告訴鈦媒體APP，AI大模型的火爆，也極大提升了攻擊者的攻擊效率。
首先，攻擊目標(biāo)和范圍變大。AI大模型驅(qū)動的智能化時代,圍繞數(shù)據(jù)產(chǎn)生的交互和分析行為會越來越普遍，這將進一步擴大企業(yè)風(fēng)險面的暴露面，動態(tài)的數(shù)據(jù)流轉(zhuǎn)和使用，需要更加完善的防護手段。
其次，攻擊密度增加。攻擊的成本和門檻下降之后，其攻擊的頻次、密度會大幅提升，以前的攻守節(jié)奏可能是回合制的，防守方還有一天或者一周的時間調(diào)整安全策略；但大模型加持下，黑客會讓攻防變成“即時戰(zhàn)略”的對抗，企業(yè)的反應(yīng)時間窗口將被迫縮短至小時級，甚至分鐘級。
第三，模擬“機器”和“人”的精度提升。黑灰產(chǎn)利用AI提升模擬真實用戶行為的效率，企業(yè)難以辨別，例如在黃牛黨搶票、金融信貸欺詐等。
第四，攻擊特征超越企業(yè)“情報庫”。企業(yè)安全建設(shè)往往依賴于安全情報庫，以記錄經(jīng)常“干壞事”的惡意IP和異常流量特征。當(dāng)黑客利用生成式AI實時變換大量的行為特征時，傳統(tǒng)靜態(tài)情報庫將逐漸失去防護價值。
此外，據(jù)鈦媒體APP與多家企業(yè)交流發(fā)現(xiàn)，目前已經(jīng)出現(xiàn)有企業(yè)在應(yīng)用大模型后，遭到黑客利用提示詞進行惡意攻擊，比如讓大模型產(chǎn)生身份識別偏差，進一步利用假冒的身份對企業(yè)大模型輸入內(nèi)容套取用戶信息或企業(yè)商業(yè)機密。
談及AI時代企業(yè)安全面臨的安全挑戰(zhàn)的場景時，奇安信集團董事長齊向東對鈦媒體APP表示，具體到數(shù)字安全方面，人工智能帶首要面臨的是，AI投毒安全隱患加重，攻擊者可以通過在訓(xùn)練數(shù)據(jù)中加入精心構(gòu)造的異常數(shù)據(jù)，破壞訓(xùn)練數(shù)據(jù)集的準(zhǔn)確性。
其次，隨著AI大模型大規(guī)模應(yīng)用之后，整個社會都將面臨更加嚴(yán)峻的數(shù)據(jù)篡改隱患，齊向東告訴鈦媒體APP，AI的大規(guī)模內(nèi)容生產(chǎn)能力可能產(chǎn)生真假難辨的信息，控制社交軟件乃至媒體的輿論聲音，激化意識形態(tài)矛盾。360數(shù)字安全集團安全專家也有著類似的觀點，他曾對鈦媒體APP表示，在AI時代，企業(yè)也面臨著新的內(nèi)容安全的挑戰(zhàn)，“比如對大模型的控制、濫用、誤用和惡意應(yīng)用等問題。”該專家指出。
除此之外，數(shù)據(jù)泄露隱患也隨著大模型的應(yīng)用而加重。IEEE電子游戲與競技標(biāo)準(zhǔn)委員會委員汪齊齊對鈦媒體APP表示，企業(yè)在使用非自研的大模型過程中，由于交互中的信息以及企業(yè)獨有的信息需要輸入到當(dāng)前環(huán)境，如果該環(huán)境的安全性不夠理想，那么敏感的企業(yè)和個人信息以及商業(yè)機密可能會被泄露，導(dǎo)致隱私侵犯和商業(yè)泄密的發(fā)生。
企業(yè)如何用AI筑牢安全防線？
“之前IT行業(yè)的各類風(fēng)險在AI時代會進一步擴大。以往奏效的安全措施在AI時代必然會有部分失效并被淘汰。”汪齊齊說。在AI時代，傳統(tǒng)的安全防護措施已經(jīng)不足以確保企業(yè)的數(shù)據(jù)安全，企業(yè)需要構(gòu)建一套全新的安全防線。
雖然AI大模型的出現(xiàn)給企業(yè)數(shù)據(jù)安全帶來了嚴(yán)峻的挑戰(zhàn)，但是企業(yè)也可以利用AI為工具，筑起安全防線。“用AI打敗AI”是現(xiàn)階段安全行業(yè)的共識。
回到目前AI技術(shù)在安全行業(yè)的應(yīng)用場景上，鈦媒體APP通過對安全行業(yè)巨頭，以及海內(nèi)外研究機構(gòu)的調(diào)查總結(jié)出，目前AI技術(shù)在安全行業(yè)主要的應(yīng)用場景是安全檢測、識別，以及分析等方面。
具體到技術(shù)場景中，企業(yè)可以根據(jù)業(yè)務(wù)需求借鑒不同思路的策略打造AI安全防護能力。
阿里云一位技術(shù)專家建議，應(yīng)用大模型的企業(yè)需要在大模型之上再施加一層工程化的手段來加固安全。比如應(yīng)對提示詞攻擊時，盡管用戶A成功讓大模型認(rèn)定他為用戶B，但在信息查詢的指令反饋鏈路中可以對指令來源的登錄賬戶進行核驗，從而驗證其真實有效身份，避免造成其他用戶信息泄露。
企業(yè)也可以通過AI自動學(xué)習(xí)識別，預(yù)測一些潛在的風(fēng)險，并將這些風(fēng)險自動隔離起來，“通過AI的賦能，讓企業(yè)級防火墻具備更強的應(yīng)變能力。”IEEE標(biāo)準(zhǔn)協(xié)會新標(biāo)準(zhǔn)立項委員會副主席兼IEEE數(shù)字金融與經(jīng)濟標(biāo)準(zhǔn)委員會主席林道莊曾告訴鈦媒體APP。
以往通過人工進行綜合分析研判設(shè)備產(chǎn)生的海量告警，很容易遭遇人員、精力短缺問題。這導(dǎo)致安全專家只能研判少量關(guān)鍵告警，超90%的告警被迫放棄，其中隱藏的大量真實威脅被忽略，給攻擊者趁虛而入的機會。而AI依托算力資源和持續(xù)訓(xùn)練后的研判能力，打破了人力資源和效率邊界。據(jù)奇安信統(tǒng)計，利用AI能力之后，能減少90%的漏報，實現(xiàn)安全能力10倍級提升。
Fortinet北亞區(qū)首席信息安全官鄺偉基曾與鈦媒體APP分享過Fortinet研發(fā)的一項類似于人臉識別的安全識別技術(shù)，該技術(shù)場景下，通過ANN進行大量辨識，并將辨識后的數(shù)據(jù)分割開，用于大模型的訓(xùn)練，從而尋找到攻擊的特征，根據(jù)某些攻擊的特征進行攻擊的識別，“即便是攻擊換了一個‘樣貌’，但它們內(nèi)在的代碼是不會變的，而我們的這項專利技術(shù)，可以根據(jù)特征的描述，精準(zhǔn)的識別出攻擊的意圖。”鄺偉基向鈦媒體APP介紹。
在安全識別方面，圍繞AI技術(shù)深入布局的不僅僅Fortinet一家，奇安信也在安全識別方面有著AI+的布局，齊向東告訴鈦媒體APP，在某核電企業(yè)的安全運營過程中，應(yīng)用了安全機器人，安排安全機器人與人工團隊一起演習(xí)，共發(fā)現(xiàn)15起安全事件，一半以上由機器人搶先識別并確認(rèn)。在高價值事件檢出率上，機器人發(fā)現(xiàn)兩起被專家遺漏的安全事件；在真實風(fēng)險事件研判準(zhǔn)確率上，機器人達(dá)到100%。
此外，在達(dá)到萬人規(guī)模的企業(yè)中，只有12名安全運營人員，每天能夠研判6000條的告警，但該企業(yè)的單日告警量超過10萬，漏報率極高。據(jù)奇安信介紹，在使用奇安信QAX-GPT安全機器人后，該企業(yè)可以完成10萬告警全量研判，漏報率僅0.05%，揪出人工漏掉的真實告警700多條，極大提升了集團的整體安全能力。
而360則是將告警檢測、分析研判的能力植入到了自主研發(fā)的安全大模型之中，據(jù)360方面提供的數(shù)據(jù)顯示，在安全大模型的賦能下，樣本平均分析時間、報告平均生成時間、漏洞驗證自動化率等指標(biāo)提效300%；事件平均檢測時間、事件自動化響應(yīng)率等指標(biāo)提效200%；人工平均響應(yīng)時間等指標(biāo)提效100%。
AI+安全,產(chǎn)業(yè)升級
對于安全廠商們而言，AI在告警識別方面的應(yīng)用僅是AI安全防護布局中的一環(huán)，除此之外， AI與安全需要更深度地融合，在幫助企業(yè)筑造新的安全防護體系的過程中，AI將發(fā)揮“大腦”的作用。
“體系化防御的核心，是多種網(wǎng)絡(luò)安全設(shè)備的有機結(jié)合。由于不同產(chǎn)品之間的數(shù)據(jù)傳輸共享、相互訪問、遠(yuǎn)程操作非常頻繁,漏報和誤報問題在這一階段呈現(xiàn)指數(shù)級增長。”齊向東告訴鈦媒體APP，在構(gòu)建安全體系的過程中，AI具備賦能綜合分析和全局聯(lián)動的能力，可以智能的根據(jù)不同場景，調(diào)用不同接口、獲取不同數(shù)據(jù)，甚至可以根據(jù)實際變化，進行動態(tài)調(diào)整，瞬時激發(fā)各個設(shè)備的安全能力，達(dá)成體系化防護的能力，“AI賦能后，能將遺漏的威脅從10%降低到千分之一，達(dá)到安全能力百倍級提升。”
通過AI技術(shù)，為企業(yè)構(gòu)建一個更為完善的安全體系，也是奇安信將AI技術(shù)運用到公司全線產(chǎn)品中的主要原因，據(jù)了解，現(xiàn)階段，奇安信已經(jīng)將AI能力深度融合到包括安全產(chǎn)品開發(fā)、威脅檢測、漏洞挖掘、安全運營及自動化、攻防對抗等在內(nèi)的十多個領(lǐng)域。
另一方面，360則選擇自研安全大模型的方式，將AI的能力全面整合進全系安全產(chǎn)品之中，360數(shù)字安全集團安全專家告訴鈦媒體APP，從場景層面分，360安全云主要分為公有云和私有化兩大場景。在公有云場景中，360將大模型的能力以“數(shù)字專家”的身份與企業(yè)安全人員展開深度交互，為不同階段的運營工作提供對應(yīng)的虛擬數(shù)字員工支持，如安全咨詢顧問、安全監(jiān)測和分析專家、應(yīng)急處置專家等，提升運營效果和效率的同時降低了客戶的技術(shù)應(yīng)用門檻。
私有化場景中，360以本地安全大腦產(chǎn)品能力為基礎(chǔ)，結(jié)合大模型賦能，實現(xiàn)了“看見、處置和知識”三大業(yè)務(wù)的重塑，在大模型賦能的本地安全大腦平臺+探針產(chǎn)品體系下，日常安全運營工作在告警檢測、態(tài)勢監(jiān)測、分析研判、自動化處置、威脅狩獵、劇本編排、分析報表及運營報告生成等環(huán)節(jié)均實現(xiàn)了智能化重塑。
天融信則是將大模型、小模型、機器學(xué)習(xí)等AI技術(shù)能力深度應(yīng)用于未知威脅檢測、流量異常檢測、惡意URL檢測等多個方向及天融信網(wǎng)絡(luò)安全產(chǎn)品中，實現(xiàn)了AI對威脅檢測、安全運營等應(yīng)用場景的全面賦能。
除了安全領(lǐng)域的專業(yè)廠商，云廠商和一些科技巨頭也將AI+安全視為接下來業(yè)務(wù)布局的重要部分，這決定了用戶對其產(chǎn)品的信任程度。而與專注安全領(lǐng)域的廠商開發(fā)安全行業(yè)大模型的思路不同，他們選擇將AI的能力植入到原本的產(chǎn)品中，進行賦能。
阿里云一位技術(shù)專家表示，在大模型本身而言，通義千問大模型構(gòu)建了一個有效、可靠的數(shù)據(jù)管理及隱私防護框架，確保大模型安全評估體系的全面性，并且在公共云上還會用一些外圍的內(nèi)容安全產(chǎn)品。此外，通義千問模型每一次更新迭代的模型訓(xùn)練中都會引入一些安全、攻防語料，讓大模型學(xué)會識別什么是不安全不合規(guī)的內(nèi)容，然后拒絕回答。阿里云百煉大模型服務(wù)平臺提供專屬的VPC（專有網(wǎng)絡(luò)）、用戶數(shù)據(jù)全鏈路加密、數(shù)據(jù)不落盤等多重保護，滿足金融企業(yè)對核心業(yè)務(wù)數(shù)據(jù)的安全防護需求。
騰訊安全也將其混元大模型的能力與安全產(chǎn)品深度融合，周斌告訴鈦媒體APP，目前騰訊安全在安全運營、風(fēng)險治理、研發(fā)安全等領(lǐng)域已展開了大模型安全實踐。以安全運營為例，據(jù)了解，在2023年底，騰訊安全就在混元大模型基礎(chǔ)上，通過安全知識語庫的二次訓(xùn)練，打造了安全行業(yè)大模型，并基于該大模型推出了騰訊云AI安全助手，安全助手具備了告警解釋、漏洞修復(fù)、日志處理、智能客服等功能。
國外廠商中，以亞馬遜云科技為例，亞馬遜云科技推出的敏感銘感數(shù)據(jù)保護解決方案是一個開源的數(shù)據(jù)安全及數(shù)據(jù)隱私云原生解決方案，在該方案中，亞馬遜云科技就融合了機器學(xué)習(xí)和模式匹配進行識別，幫助用戶識別和分類敏感數(shù)據(jù)。而IBM則是提出了AI for Security的方法論，利用基礎(chǔ)模型和生成人工智能帶來的生產(chǎn)力提升，輔助人類提升安全能力，主要體現(xiàn)在三個方面：第一，使用AI管理重復(fù)的安全任務(wù)，例如警報和日志分析總結(jié)，使團隊能夠騰出時間來解決戰(zhàn)略問題；第二，更快地生成安全內(nèi)容（如檢測、工作流程、策略等）；第三，學(xué)習(xí)并主動創(chuàng)建響應(yīng)動作，即隨著時間的推移和經(jīng)驗的積累優(yōu)化主動響應(yīng)，查找相似事件、更新受影響的系統(tǒng)，并修補易受攻擊的代碼。
除此之外，IBM還在其IBM Security產(chǎn)品組合中推出了數(shù)據(jù)安全軟件IBM Security Guardium，并將AI 和自動化的能力嵌入到 Guardium 產(chǎn)品組合中。
圍繞AI+安全的技術(shù)場景，各大科技巨頭有著各自的布局，雖路徑不同，但守護企業(yè)數(shù)據(jù)資產(chǎn)安全的目標(biāo)始終不變。
從探索應(yīng)用AI大模型能力的企業(yè)自身出發(fā)，一方面應(yīng)當(dāng)完善風(fēng)險管理，識別、評估和緩解與AI應(yīng)用相關(guān)的風(fēng)險，使用 AI應(yīng)用安全產(chǎn)品來防御外部威脅; 另一方面也要加強安全管理，確保 AI系統(tǒng)不受未經(jīng)授權(quán)的訪問、篡改或濫用，并防止數(shù)據(jù)泄露或損壞；進行定期的安全審計和漏洞掃描、建立應(yīng)急響應(yīng)機制等。
