科技新聞?dòng)?7月7日，在“2023世界人工智能大會(huì)丨聚焦大模型時(shí)代AIGC新浪潮論壇-可信AI專場“上，中國科學(xué)院院士、上海華科智谷人工智能研究院院長何積豐表示安全和可信是兩個(gè)不同概念，可信人工智能要有兩個(gè)基本要素：第一，數(shù)據(jù)安全可靠、系統(tǒng)行為正確可追責(zé)、決策結(jié)果可解釋；第二，數(shù)據(jù)模型在開放環(huán)境工作，包括不確定擾動(dòng)、不可控環(huán)境行為、惡意攻擊等�；诂F(xiàn)狀，何積豐建議：第一，數(shù)據(jù)方面強(qiáng)調(diào)隱私保護(hù)；第二，算法方面推進(jìn)可解釋性；第三，整個(gè)體系中要存在可信度量。
以下為演講實(shí)錄：
關(guān)于可信的概念有些混淆，通常大家都說這個(gè)是不是安全，安全跟可信是兩個(gè)不同概念，因?yàn)樵缙谖覀兊挠?jì)算機(jī)系統(tǒng)，它里面的軟件都是程序員，把我們現(xiàn)實(shí)世界中的一些物理規(guī)律變成一個(gè)數(shù)學(xué)模型，然后他通過編程序辦法把數(shù)學(xué)模型“喂“給我們計(jì)算機(jī)，所以計(jì)算機(jī)程序去按照這個(gè)模型做了，當(dāng)然“喂”的過程可能會(huì)有錯(cuò)誤。因此我們有個(gè)測試任務(wù)，說這個(gè)程序是不是可靠，安全可靠可信，對我們一般的軟件代碼也是會(huì)有的，但人工智能這個(gè)系統(tǒng)跟傳統(tǒng)軟件是有極大的不同、根本的不同。首先整個(gè)模型是他自己學(xué)習(xí)而來的，不是我們教他的，你是第一個(gè)問題問他，他到底學(xué)到了什么？為什么會(huì)這么想？我們這里一個(gè)簡單例子就是20年以前， Alpha zero軟件他幫助 IBM確立了他們在人工智能方面一種新的突破。
國際象棋方面，Alpha zero打敗了國際比賽的冠軍，但是編這個(gè)系統(tǒng)的專家，他不清楚Alpha zero是怎么工作的，為什么下這步棋而不那一步？換句話說，他不知道它的工作原理，那么很多情況下，如果工作人員你不清楚了，你心中就有一些懷疑了，將來可能會(huì)發(fā)生什么事情，這是一種。
那么第二類我們發(fā)生的情況就是人工智能技術(shù)突破，它是一種真正意義下的創(chuàng)新。過去我們做技術(shù)創(chuàng)新，它實(shí)際上是一個(gè)創(chuàng)新的帽子，人們本質(zhì)上并不認(rèn)為他們是創(chuàng)新，比如說我們有汽車，相對于馬車來說是個(gè)創(chuàng)新，當(dāng)然我們要覺得無非是一個(gè)發(fā)動(dòng)機(jī)代替了一匹馬，我們有坦克，人家說是很好的戰(zhàn)車，本來也有。換句話說，過去創(chuàng)新都對現(xiàn)有東西的一個(gè)延伸，當(dāng)然人工智能是另開辟一個(gè)天地，因此我們不知道為什么他會(huì)發(fā)現(xiàn)這樣一些新的成果是超出人們想象的。
一個(gè)典型例子，大家在文獻(xiàn)中看到，通過用智能學(xué)習(xí)辦法，我們發(fā)明了新的一種藥叫海森，它就是一個(gè)建筑學(xué)校，產(chǎn)生了一個(gè)機(jī)器血液模型，開始科學(xué)家把2000多個(gè)分子結(jié)構(gòu)喂給了我們的血液系統(tǒng)，告訴他沒有分子結(jié)構(gòu)，它有哪種抗菌性能，然后就讓我們在學(xué)模型，在2萬多分結(jié)構(gòu)中間，要選擇一種新的藥，滿足以下兩個(gè)特征：第一，殺菌率要高，第二副作用要校結(jié)果學(xué)習(xí)系統(tǒng)果然是發(fā)現(xiàn)一種新的，但是我們專家不知道他為什么挑中這個(gè)，而不是挑中其他的，那么這些都是一種非確定性的問題。我們?nèi)倪@些問題中間提出一些新的科學(xué)期望。
什么叫可信人工智能？我們這邊有兩個(gè)要素：第一要素是從學(xué)術(shù)界的人，我們怎么理解呢？我們第一數(shù)據(jù)安全可靠，第二你這個(gè)系統(tǒng)行為應(yīng)該是正確的，如果發(fā)生問題要追求責(zé)任了，能夠追溯這個(gè)過程。第三部分，決策結(jié)果很多大模型給你一些選擇余地，你告訴我為什么選這個(gè)而不選那個(gè)，這是一種情況。第二就是考慮到我們這個(gè)模型是在一個(gè)不確定環(huán)境下工作的，因此我們希望能夠解決，如果我們環(huán)境里面一些小的擾動(dòng)會(huì)影響你這個(gè)系統(tǒng)工作等等，總結(jié)起來我們應(yīng)該他組里面提到6種品質(zhì)，提到它應(yīng)該是正確的，魯棒性的有公平性的，它結(jié)果可以解釋，安全性的、倫理性的，每一樣代表東西很不一樣的，我們不能籠統(tǒng)都說安全可信，要求是差別很大的。
那么當(dāng)前我們狀態(tài)怎么樣呢？從幾個(gè)方面來看，第一個(gè)就是關(guān)于數(shù)據(jù)科學(xué)問題，這個(gè)問題大家就不要說了，因?yàn)槟阆駭?shù)據(jù)不可信的話，用你的數(shù)據(jù)訓(xùn)練我們的機(jī)器它絕對不會(huì)可靠的。第二是算法可信，那么現(xiàn)在算法可信有兩條問題可能是比較困難，就關(guān)于算法本身的可解釋性問題，那么這個(gè)問題前面已經(jīng)有不少工作做了，那么下面還是為繼續(xù)推進(jìn)這方面的工作。第三是網(wǎng)絡(luò)可信，這個(gè)就不解釋了，因?yàn)樽鼍W(wǎng)絡(luò)空間安全的專家都知道，網(wǎng)絡(luò)可信是我們長期安全中的工作目標(biāo)。第四是系統(tǒng)可信，我們希望從芯片、硬件、軟件、服務(wù)等各方面之間的廣泛應(yīng)用中間發(fā)現(xiàn)一些問題，什么問題？就系統(tǒng)被攻擊的面更加大，安全風(fēng)險(xiǎn)比過去突出。最后是法律倫理問題，我們中國例子比較少。最近美國有個(gè)例子，就是新冠期間，他們大家普遍用了脈搏的血氧儀，測大家心率，根據(jù)血里面含氧的程度，結(jié)果發(fā)現(xiàn)白人吃下來血氧總是比較低，黑人總是比較高，后來發(fā)現(xiàn)什么？他在本身收集數(shù)據(jù)里面，他收集的是白人數(shù)據(jù)，沒有黑人數(shù)據(jù)，是這樣的一個(gè)倫理問題，在通常的安全可行范圍里面是很少能顧及到。
我們看我們這個(gè)能力跟法律部分，我們說個(gè)人隱私數(shù)據(jù)保護(hù)，數(shù)據(jù)壟斷跟數(shù)據(jù)的霸權(quán)問題，現(xiàn)在還沒提了，實(shí)際上不少地方有很多霸王條款，一般用戶也不會(huì)感到數(shù)據(jù)的污染跟投毒到遷到最高層面，就是說這會(huì)影響到國家政治跟國家安全。第二方面是關(guān)于算法方面，我們說在倫理方面，我們是希望能夠推進(jìn)黑盒決策的可解釋性、算法的歧視問題、算法亂用跟誤用、商業(yè)壟斷與不正當(dāng)?shù)母偁帯?/p>
那么這里想講幾句關(guān)于大模型的問題，大模型用了以后，我們教育部門很擔(dān)心，一給學(xué)生布置論文，可能他們不需要自己做了，他把這個(gè)題目給我們大模型，大模型可以給他寫了一篇很好的文章，然后不少法律方面的人也在說，很多圖片可能是假的，偽造的作為法律證據(jù)，那么這個(gè)就跟我們算法里面不安全是密切相關(guān)，已經(jīng)影響到我們的業(yè)務(wù)了。
對社會(huì)短期的影響，主要是我們要解決智能系統(tǒng)責(zé)任劃分問題，這類工作主要是在一些智能系統(tǒng)，我們的智能機(jī)器人跟我們用的無人駕駛汽車，萬一有什么事故，誰負(fù)責(zé)任的劃分條例。那么最后就是長期的影響，長期影響以后可能主要是一個(gè)就業(yè)問題。昨天主論壇上聯(lián)合國的一個(gè)官員說了，他們估計(jì)在5年里面會(huì)有1,400萬人由于大模型使用而失去他們的位置，我希望這個(gè)數(shù)字是假的，因?yàn)檫@個(gè)數(shù)字看起來就比較可怕了，占全世界就業(yè)人口5%，這是關(guān)于可信人工智能，我們在倫理法律上現(xiàn)狀。
那么該做哪些事情，我們這里有一個(gè)建議，這建議畢竟是非常科學(xué)跟可實(shí)施，但是我們每一方面還是提一下，我們從數(shù)據(jù)方面我們是強(qiáng)調(diào)數(shù)據(jù)隱私保護(hù)，充分利用我們現(xiàn)有的一些it技術(shù)，無論是我們的區(qū)塊鏈跟密碼應(yīng)該用在很多金融數(shù)據(jù)處理方面。還有通過聯(lián)邦學(xué)習(xí)，包括我們數(shù)據(jù)中間一些安全機(jī)密部分，那么這個(gè)方面我們前面跟上海證券所也事先做一些項(xiàng)目，看看聯(lián)邦學(xué)習(xí)對它整合各方面數(shù)據(jù)是不是會(huì)有促進(jìn)作用。第二是關(guān)于算法理論，我們還是主要推進(jìn)可解釋性，我最后有幾張片子會(huì)專門談這個(gè)問題。然后關(guān)于整個(gè)體系里面，我們希望有個(gè)可信度量，有些安全等級是比較多，但是實(shí)際上我們沒有很精密的度量體系。
然后從應(yīng)用系統(tǒng)方面，我們現(xiàn)在做的這幾個(gè)主要的一些行業(yè)應(yīng)用，：比如工業(yè)控、生物制藥、智慧交通等等，他對安全可行要求是很高的，尤其是像那種工廠部門里面，他用的機(jī)器人，他就說當(dāng)機(jī)器人跟人在同一生產(chǎn)線上，大家關(guān)心他們交互之間是不是有危險(xiǎn)性。
我下面有一個(gè)關(guān)于工作的一個(gè)規(guī)劃目標(biāo)，我們這里分成兩部分，一部分從技術(shù)方面來說，第二部分是從建設(shè)的目標(biāo)來說，我們分成兩個(gè)部分，第一個(gè)目標(biāo)是因?yàn)樯虾ＲH金融中心，然后我們說金融是長三角一體化的，那么對我們安全做什么？主要是做數(shù)據(jù)的大數(shù)據(jù)的區(qū)塊鏈的可行治理。
另外我再舉個(gè)例子，我們要做智能系統(tǒng)的可信驗(yàn)證的平臺(tái)，一種是有一個(gè)中心專門負(fù)責(zé)這個(gè)工作，那么這里面他要做什么？可行分析，認(rèn)證跟評測。建設(shè)目標(biāo)就是上海國家新一代人工智能創(chuàng)新發(fā)展試驗(yàn)區(qū)，所以我們這里面提了一些建議，那么這個(gè)建議各部門都在推進(jìn)，希望這個(gè)工作有效果。
下面我講一下關(guān)于可解釋性問題，可解釋性大概有三種不同類型的可解釋性，不是一個(gè)簡單的可解釋性。
第一是基于這個(gè)理論模型的可解釋性，這個(gè)事情很多都是高校的研究院的老師在做，今天你看清華大學(xué)也有不少教授在的，我相信這方面工作他們都是會(huì)有基礎(chǔ)的。第二是關(guān)于機(jī)器學(xué)習(xí)的可解釋性，這里面既有定性的，也有定量的，也有可視化的。最后一個(gè)是基于知識推理的可解釋性方法研究，這是關(guān)于研究現(xiàn)狀，那么我們自己想通過個(gè)片子跟大家介紹一下，它到底對我們實(shí)體經(jīng)濟(jì)會(huì)有什么應(yīng)用。大家看一下左邊這個(gè)圖，我們說可信，可解釋人工智能怎么用到我們這個(gè)產(chǎn)業(yè)部門，它有這樣一個(gè)全生命周期的迭代過程，它從市場需求分析開始來支撐它的產(chǎn)品設(shè)計(jì)。
換句話說，市場數(shù)據(jù)對它產(chǎn)品設(shè)計(jì)提需求是所有工作的一個(gè)啟動(dòng)點(diǎn)，然后在設(shè)計(jì)過程中間，他希望有一個(gè)國際化的分工，換句話說整個(gè)供應(yīng)鏈不是全部自己做了，要考慮到合作伙伴怎么做，在這基礎(chǔ)上我們有個(gè)很好的生產(chǎn)管理過程，既有生產(chǎn)制造的過程，也有對用的設(shè)備的管理過程。
然后我們對銷售維護(hù)也是它整個(gè)生命周期中間很大一部分。那么這樣我們通過產(chǎn)品對客戶的應(yīng)用，客戶對你提的意見為我們有個(gè)反饋，因此我們希望有個(gè)需求分析的重新的迭代過程。那么中間他講了一個(gè)迭代里面反映了哪幾個(gè)問題，他有關(guān)于怎么訂單采購的，有生產(chǎn)管理的，有物流的，換句說我們?nèi)斯ぶ悄芤恍┘夹g(shù)不是用在一個(gè)環(huán)節(jié)，是用在整體上是有這樣的一個(gè)過程。
我們說我們科學(xué)設(shè)立公司有三個(gè)方面的挑戰(zhàn)，一個(gè)是關(guān)于方法研究方面要挑戰(zhàn)，這屬于基礎(chǔ)研究的。第二部分是應(yīng)用方面，因?yàn)楦餍袠I(yè)對這個(gè)可行要求也不完全一樣。第三個(gè)管理層面上，因?yàn)楦憧山忉屝钥赡芤獱奚c(diǎn)效率的，那么這個(gè)事情領(lǐng)導(dǎo)是不是能夠支持這樣做法的，右面我們提到了可解釋人工智能能夠面向決策方面的支撐，他對決策支撐跟賦能管理，對我們推進(jìn)模式，對知識管理都有決策導(dǎo)向。因此我相信可信人工智能我們已經(jīng)走了好幾年，現(xiàn)在這個(gè)行業(yè)需求也會(huì)越來越多，我希望各行各業(yè)會(huì)進(jìn)一步的總結(jié)經(jīng)驗(yàn)，看到哪些是我們應(yīng)該工作聚焦的地方，我的講話完了，謝謝大家。
