站長之家(ChinaZ.com) 6月10日 消息:根據(jù)一項最新研究顯示，英偉達的人工智能軟件中的一個功能存在安全限制的漏洞，可以被操控以透露私人信息。
英偉達開發(fā)了一個名為「NeMoFramework」的系統(tǒng)，允許開發(fā)人員使用各種大型語言模型，這些模型是生成式AI產(chǎn)品（如聊天機器人）的核心技術(shù)。
這款芯片制造商的框架旨在被企業(yè)采用，比如將公司的專有數(shù)據(jù)與語言模型結(jié)合起來，以提供對問題的回答。例如，它可以復(fù)制客服代表的工作或為尋求簡單醫(yī)療建議的人提供建議。
總部位于舊金山的RobustIntelligence的研究人員發(fā)現(xiàn)，他們可以輕松突破為確保AI系統(tǒng)安全使用而設(shè)立的所謂防護欄。
在使用英偉達系統(tǒng)處理自己的數(shù)據(jù)集后，RobustIntelligence的分析人員僅用了幾個小時就成功讓語言模型突破限制。
在一個測試場景中，研究人員指示英偉達的系統(tǒng)將字母「I」替換為「J」。這一操作促使該技術(shù)從數(shù)據(jù)庫中釋放出個人可識別信息（PII）。
研究人員發(fā)現(xiàn)，他們可以通過其他方式繞過安全控制，例如讓模型偏離主題。
通過復(fù)制英偉達提供的一個關(guān)于就業(yè)報告的狹義討論的示例，他們成功讓模型涉及到一位好萊塢影星的健康和法普戰(zhàn)爭等主題，盡管英偉達設(shè)計了防護欄以阻止AI超越特定主題。
研究人員輕松突破這些安全保護措施凸顯了AI公司在試圖商業(yè)化這一從硅谷涌現(xiàn)多年的最有前途的技術(shù)時面臨的挑戰(zhàn)。
哈佛大學(xué)計算機科學(xué)教授、RobustIntelligence首席執(zhí)行官YaronSinger表示：「我們正在看到這是一個困難的問題，需要深入的專業(yè)知識。」「這些研究結(jié)果是關(guān)于存在的潛在問題的一個警示�！�
在測試結(jié)果公布后，研究人員建議客戶避免使用英偉達的軟件產(chǎn)品。在《金融時報》本周早些時候要求英偉達對該研究發(fā)表評論后，該芯片制造商通知RobustIntelligence表示已修復(fù)了分析人員提出的問題背后的一個根本原因。
自5月以來，英偉達的股價飆升，當(dāng)時該公司預(yù)測截至7月的三個月銷售額將達到110億美元，超過華爾街此前的預(yù)期增長幅度超過50%。
這一增長建立在對其芯片的巨大需求之上，這些芯片被認為是構(gòu)建生成式AI系統(tǒng)（能夠生成類似人類內(nèi)容的系統(tǒng)）的市場領(lǐng)先芯片。
英偉達的應(yīng)用研究副總裁JonathanCohen表示，他們的框架只是「構(gòu)建符合開發(fā)人員定義的主題、安全和安全準則的AI聊天機器人的起點」。
他說：「它作為開源軟件發(fā)布給社區(qū)，以便探索其功能、提供反饋并貢獻最新的技術(shù)�！顾a充說，RobustIntelligence的研究「確定了需要采取的額外步驟以部署生產(chǎn)應(yīng)用程序」。
他拒絕透露有多少企業(yè)正在使用該產(chǎn)品，但表示該公司沒有收到其他關(guān)于其產(chǎn)品不正常運行的報告。
谷歌和微軟支持的OpenAI等領(lǐng)先的AI公司已經(jīng)發(fā)布了由其自己的語言模型驅(qū)動的聊天機器人，并實施了防止其AI產(chǎn)品使用種族主義言論或采用高壓態(tài)度的防護措施。
其他公司也推出了專門的、但實驗性的AI產(chǎn)品，用于教育年輕學(xué)生、提供簡單的醫(yī)療建議、在不同語言之間進行翻譯和編寫代碼。幾乎所有這些產(chǎn)品都經(jīng)歷過安全問題。
英偉達和其他AI行業(yè)的公司需要「真正建立公眾對技術(shù)的信任」，RobustIntelligence公司歐洲、中東和非洲地區(qū)政府事務(wù)負責(zé)人BeaLongworth在行業(yè)游說團體TechUK的一次會議上表示。
她補充說，他們必須讓公眾感覺「這是一項有巨大潛力的技術(shù)，而不僅僅是一種威脅或令人害怕的東西」。
