【編者按】“我們從來沒有像今天一樣，可以在鏡子里看到一個跟我們長得一模一樣的智能體，那就是新的人工智能。所以重新認識我們自己，在人工智能時代是尤為迫切的。”9月7日，復旦大學計算機科學技術學院教授、上海市數(shù)據(jù)科學重點實驗室主任肖仰華在外灘大會見解論壇上發(fā)表主旨演講，就“大語言模型消除人機鴻溝：人類主體性是強化還是弱化”這一主題做出深刻闡釋。
在題目為“大模型時代的新型人機關系”的演講中，肖仰華指出，人類未來的新角色應該是智能機器的牧羊人。人類最重要的任務在于駕馭它，管理它，讓它為自己所用。對于未來之路，肖仰華提出兩個原則：有所為有所不為，建立AGI不可染指的人類活動保護區(qū)，比如未成年人的基礎教育；堅守AI安全的底線，設立主動的安全防護機制，設立智能系統(tǒng)的“認知禁區(qū)”，并嚴肅研究機器的自我意識。
基于此次演講內容，經(jīng)肖仰華教授編輯與補充，澎湃科技（www.thepaper.cn）獲授權發(fā)表以下文章。
9月7日，復旦大學計算機科學技術學院教授、上海市數(shù)據(jù)科學重點實驗室主任肖仰華在外灘大會見解論壇上發(fā)表主旨演講。
“把認知能力賦予機器是必然的”
我們身處在一個快速變化的世界。技術的快速進步加速了世界的變化。新技術大規(guī)模應用的時間日益縮短。ChatGPT不到兩個月就突破1億月活用戶，而此前TikTok實現(xiàn)1億月活用戶的時間為9個月。各類新型技術層出不窮，新術語、新概念如絢麗的時裝秀競相亮相，令人眼花繚亂、應接不暇。我們還來不及深入理解某個新概念，新主角就又粉墨登場，人類的技術生態(tài)從未像今天這樣絢爛多姿、異彩紛呈。ChatGPT推出這半年以來，我們每天早上一睜眼，最擔心的問題就是，是不是又出現(xiàn)了新的革命性技術？我們的行業(yè)還存在么？我們的飯碗還端得穩(wěn)么？久而久之，我們似乎已經(jīng)對世界的快速變化變得日益麻木，不得不接受“唯一不變的就是變化本身”的現(xiàn)實世界。
世界的加速變化帶來了前所未有的復雜性。就以現(xiàn)代工業(yè)文明的典型產(chǎn)物汽車為例。一輛整車的出廠，需要2萬到3萬個零件，而每個零部件又需要一條上萬個元器件組成的生產(chǎn)線，再考慮原材料的采集與加工等諸多流程，單單從晶圓到芯片，就將經(jīng)歷700道工序。我們身處的世界日益演變?yōu)槿�、機、物3個主要要素彼此影響、互相聯(lián)結而成的復雜巨系統(tǒng)。事實上，現(xiàn)代工業(yè)文明經(jīng)過數(shù)百年的發(fā)展，早已不再是其嬰童時代，而是進入了復雜巨系統(tǒng)的時代。在一些典型的復雜工業(yè)系統(tǒng)，比如通信網(wǎng)絡，一個故障往往涉及成千上萬個元器件，往往需要數(shù)十位專家經(jīng)過漫長的排查與診斷才能識別出根本問題或解決方案。當今世界的各類復雜系統(tǒng)早已超出了人類有限的認知能力。
加速變化讓世界越來越復雜，繼而導致世界發(fā)展的不確定性日益增加。各種黑天鵝、灰犀牛事件頻發(fā)。放眼全球，老齡化趨勢加劇、自然災害頻發(fā)、政治環(huán)境嚴峻、經(jīng)濟預期下滑，各類因素交織，加劇了世界發(fā)展的不確定性。加速變化、日益復雜、日益不確定的世界，增加了社會發(fā)展的失控風險。早在上個世紀90年代，未來學家凱文凱利和社會學家安東尼吉登斯就發(fā)出了人類社會發(fā)展失控的風險警告。如何提升失控風險的應對能力，是當前人類社會的共同命題。
人類有限的認知能力難以認知日益復雜、不確定、變化增速的世界是當下的主要問題之一。人類智能發(fā)展受限于緩慢的生物進化速度，其認知能力是有限的。作為一種生物智能體，我們每個人的大腦也就10億個神經(jīng)元，1萬億個神經(jīng)突觸，我們用以認知世界的大腦容量是十分有限的。人類認知能力的進化卻又是十分緩慢的，今天的人類也并不比1000年前的人類聰明多少，大部分今人穿越到物質稀缺的古代能生存多久都是個問題。但是，今天巨型模型的參數(shù)量就已經(jīng)突破萬億。更令人擔心的是其快速的發(fā)展速度，從十億參數(shù)規(guī)模到萬億參數(shù)的發(fā)展也就短短兩三年。我們敢想象10年之后的機器智能會發(fā)展到何種地步么？我們敢想象當GPT的版本號更新到10的時候，機器智能會發(fā)展到何種地步么？這些追問看似仍然久遠而顯得沒有必要，但是理性的計算卻又明明確確告知我們這些都是在不遠的將來需要面對的問題。作為人類種群一分子的我們每個人，不免擔心人類智能至高無上的地位在機器智能的嚴峻挑戰(zhàn)下是否已經(jīng)變得岌岌可危。但是現(xiàn)在，我們暫且收起這一份完全值得重視的擔憂，而轉向全面擁抱機器智能的發(fā)展，抓住機器智能為我們應對人類當下挑戰(zhàn)所帶來的重大機遇。因為，唯有高度發(fā)展的機器智能才能勝任復雜世界的認知要求。
從原理上來講，機器的認知能力和世界的復雜性是同步增長的。因為訓練機器智能的算力在持續(xù)增長，甚至是指數(shù)型增長。當下全世界為數(shù)不多的萬卡規(guī)模的高端GPU算力集群基本上被大模型訓練所獨占了。同時，喂養(yǎng)機器的數(shù)據(jù)量也在持續(xù)增長。Meta最新發(fā)布的LLAMA 2開源大模型已經(jīng)使用了2萬億Token（文字或語言符號）數(shù)據(jù)進行訓練。在巨大算力與海量數(shù)據(jù)的訓練下，大模型“涌現(xiàn)”出了接近人類水平的智能。而且通用大模型通常遵循所謂的“scaling law（尺度定律）”規(guī)律，也就是說模型參數(shù)量越大，其潛力越大，其在下游中能夠勝任的任務就越廣泛，解決問題的效果就越好。唯有煉就大模型的認知能力，才能實現(xiàn)持續(xù)增長的認知能力。唯有把認知能力賦予機器，機器才能夠協(xié)助人類應對世界的高度復雜性。某種程度上，生成式大模型正是機器認知智能發(fā)展到當下階段的典型代表。大模型的出現(xiàn)與發(fā)展具有時代發(fā)展的必然性。人機認知協(xié)作才有可能應對社會發(fā)展日益失控的風險。
大模型能力的涌現(xiàn)，在譬如文本處理等一系列任務中攻城略地，解決了很多以前只有人才能勝任的任務。不單單在文本領域，大模型現(xiàn)在朝著多模態(tài)化、具身化發(fā)展，已經(jīng)從單純腦力層面的智能向操控物理世界的工具方向發(fā)展。可以說大模型已然掀起了通用人工智能的技術革命，并且這絕不單單是一次技術革命（a technological revolution）。人類歷史上曾經(jīng)有多次技術革命：蒸汽機的發(fā)明、電的發(fā)明。歷次技術革命都只是人類智能本身的產(chǎn)物，是人類所創(chuàng)造的，但生成式人工智能大模型、通用人工智能的革命是關乎智能本身的一場技術革命。這次技術革命有其獨特性和戰(zhàn)略性，是歷次技術革命所不能比擬的，所以，它是一場技術的元革命（the technological revolution）。
“自然語言和專業(yè)語言的鴻溝被消滅”
這次大模型的技術變革帶來了本質性的變化：一方面，大模型是一個海量的參數(shù)化的知識容器，它具備了不同學科的知識。我們做了一個評測，按照教育部劃分的12個學科大類、500多個學科小類，收集相應科目的人類測試題去評測通用大模型GPT-4，它基本上在所有學科中都能取得五六十分的成績。我們哪個人能做到在如此廣泛的學科領域取得這樣的成績呢？所以大模型本質上可以視作是海量通識、跨學科知識的巨大容器。
另一方面，大模型是一種認知能力的引擎。比如說常識理解，“杯子放不下雞蛋，它太小了”，這個“它”是誰？“杯子放不下雞蛋，它太大了”，這個“它”又是誰？在通用大模型之前人工智能沒辦法很好地回答這類問題，以至于當時人們覺得常識理解是人工智能很難逾越的一道障礙。今天的大模型不僅跨越了這道屏障，同時具備許多其他能力，如邏輯推理、概念理解、運籌規(guī)劃、問題求解、知識反思、價值判斷、組合泛化等。可以下個斷言，GPT-4等大規(guī)模生成式語言模型至少是在“形式上”具備了人類思維的核心能力。這里將機器的理解能力限定在了“形式上”，是因為機器的“理解”并無相應的人類的心理過程，而只是機械的文字符號的計算過程。伴隨人類的理解與認知的心理過程往往有著某種生化反應在起作用（所謂的心靈的“漣漪”、荷爾蒙的分泌等）。但顯然目前大模型的認知是個純粹的概率計算過程，是個物理過程，而無生化過程。有不少人借此貶低機器智能。事實上在現(xiàn)代西方文明的早期，不摻雜任何感性的絕對理性，恰被人類精英視作一種理想境界。對于對于機器智能的理解與認知能力，無論是貶低與吹捧都不是可取的態(tài)度，客觀地審視其優(yōu)勢與缺點是應該秉持的科學態(tài)度。
此外，大模型已經(jīng)不僅僅是語言/圖像數(shù)據(jù)處理與理解的基礎模型，更成為自治智能體的“大腦”。越來越多的研究工作把大模型當做智能體的一個大腦，驅動智能體在環(huán)境中交互成長，形成復雜環(huán)節(jié)的適應能力，為大模型的進一步發(fā)展帶來全新機遇。一旦大模型能夠驅動智能體在環(huán)境中進化，在一定程度上就有可能發(fā)展出自治和自主能力。人工智能的自主與自治可能被一些人視作危言聳聽。事實上，絕大多數(shù)AI系統(tǒng)都被賦予了一定的自治與自主能力（當然大部分情況下是極為有限的）。任何看似在人類授意下機器完成的動作都存在一定程度的機器自主決策的空間。比如我們的推薦系統(tǒng)，用戶給出了基本的偏好設定后，推薦算法就將在相應的設定空間自主決策推薦的內容了。所以自主與自治是個相對概念。隨著大模型與環(huán)境開展持續(xù)交互、反饋與進化，其所驅動的智能體在自主與自治方面將極大提升。
大模型在上述能力對人機關系產(chǎn)生顯著影響。它首先消滅了自然語言表達的鴻溝。人類社會一直存在著“巴別塔之謎”：不同語言之間無法溝通。類似地，人機之間也存在著人機溝通的鴻溝。以前，人們需要用鼠標、鍵盤、不同的軟件界面與數(shù)據(jù)或信息進行交互，但今天可以使用統(tǒng)一的自然語言指令來跟機器交互。機器與機器之間也可以使用統(tǒng)一的自然語言進行交互。
以前從事專業(yè)任務，往往要用形式化語言書寫專業(yè)性極高的代碼。比如說要做芯片設計，要寫芯片設計的語言，做數(shù)據(jù)分析，可能要用python寫數(shù)據(jù)分析的腳本。而今天只需要用自然語言輸入，它就可以統(tǒng)一地生成這些專業(yè)語言的代碼，從而幫我們自動完成這些任務。所以它也進一步消滅了專業(yè)語言的鴻溝，可以說各種溝通鴻溝在大模型面前變成了平川。
“用進廢退”
隨著大模型能力日益增強，尤其是它越來越具備自治性、自主性之后，越來越多承擔起本需要人類來完成的決策任務之后，我們需要思考一個嚴肅的問題，這種具備了高度認知能力、又有一定的自主自治能力的通用人工智能，它還只是一個傳統(tǒng)意義上的工具嗎？
首先，當大模型的自治性、智能性越來越強，人機邊界就會越來越模糊。例如，現(xiàn)在新聞主播、電商主播很多都是數(shù)字人，人工智能領域已經(jīng)發(fā)展出了諸如數(shù)字分身、實體化的仿真機器人，使得人機之間的邊界日益模糊。從短期影響來看，首先會帶來很多社會治理問題：虛假信息泛濫，欺詐盛行；會造成我們日常使用的驗證碼失效；人機情感倫理問題變得日益復雜（比如人對虛擬人的情感依賴）。這些都是大模型發(fā)展到現(xiàn)在我們要考慮的問題。
從長期來講，最讓人擔心的問題是，AGI（通用人工智能）的濫用帶來人類智力的倒退。當ChatGPT越來越好用，我們很容易就是沉溺其中，傾向于做任何事情之前都去問問ChatGPT，久而久之我們對之形成依賴，逐漸喪失我們自己的判斷力與決策力。今年8月31日，也就是小學生開學前一天，我注意到朋友圈的很多家長朋友們在感謝ChatGPT，孩子們積累了一個暑期的作業(yè)，在ChatGPT的幫助下一天時間搞定了。ChatGPT流行的這半年以來，我們的研究生英文論文很少再需要導師花很大氣力去修改了，ChatGPT可以進行非常出色地完成英文語言潤飾工作。
肖仰華認為，把大量寫作任務交給了機器，實質上就是在剝奪思維鍛煉機會。
看上去，我們受益匪淺、實現(xiàn)了夢寐以求的“提質提效”，但是大家要想想我們付出了怎樣的代價。想必大家都聽說過“writing is the best thinking”這種說法，鍛煉人類思維的最好方式之一就是寫作。今天我們把大量寫作任務交給了機器，實質上就是在剝奪思維鍛煉機會。如果我們長期不用自己的語言進行寫作，我們就很難完好地保有我們的語言能力，也會逐漸喪失使用自己的語言進行思考的能力�；蛟S會有人反駁說，人類仍要寫提示、要評估生成結果，人類并非無所事事。然而，提示的要義在于簡短，否則大模型的自動生成就失去了提效的意義。碎片化的提示是訓練不出一篇優(yōu)雅文章的寫作能力的，是訓練不出優(yōu)雅文章背后的我們東西方文化所蘊含的思維方式的。那么評估呢，人類畢竟還是要對AI生成的內容進行評估、判斷、選擇。誠然如此，然而，我們要意識到一點，人類專家水平的評估能力往往是在一萬小時左右的實踐之后形成的。我們很難想象，一個平庸的寫手能做出精彩的評價。事實上，提示（或提問）與評價，往往是人類的少數(shù)專家才能勝任的。而專家的養(yǎng)成是要付諸千萬次的訓練與實踐的。AI的自動生成如果大量替代人類，人類專家的養(yǎng)成路徑就將被截斷，隨之而來的不僅僅是生成（比如寫作）能力的退化，更包括人類提示與評價能力的退化�？赡苓�有另一些反駁的聲音會說，只要人類族群中留出一部分進行傳統(tǒng)的艱苦訓練，免受AI的影響，就可以了，大部分人就可以安享AI所帶來的便利。這種觀點也是短視的，對于一個種群，其某種能力的保有是建立在足夠規(guī)模的種群基礎之上的。如果人類中的大部分人失去了思維能力，人類群體思維退化就難以避免。
從長期來看，人類思維能力的倒退，勢必引發(fā)人類智力的倒退，最終導致人類主體性的弱化，甚至引發(fā)文明的崩塌。中國古代歷史上不乏這樣的例子：當皇帝比較暗弱時，就一定有權臣來代替他行使主體性，最終形成對皇權的侵犯。這是歷史帶給我們的啟示和教訓。同樣，當人類智力減弱的時候，在越來越多的任務交給機器之后，我們有理由擔心人類主體性的退化，更需要防范高度智能機器對人類主體性的“侵犯”。
重新定位機器的價值
我們需要更多地思考在大模型時代如何重建新型的人機關系。未來，通用大模型所賦能的通用人工智能使得人機之間已經(jīng)不再是傳統(tǒng)的“使用者-工具”性質的主仆關系，更像是專家和助理之間或司令員和參謀之間的咨詢、輔助、協(xié)作性質的伙伴關系。當我們初步接觸某個學科時，這個學科的大多數(shù)常見問題，大模型可以做出不錯的回答；當我們對某些開放性問題缺乏思路時，大模型往往能夠給出我們思考某個問題的基本框架（比如大模型對于人機關系有著怎樣的影響）。所以大模型作為咨詢顧問、合作伙伴的作用日益明顯。未來我們需要重新構建新型人際關系以適應這種新的發(fā)展形勢。
首先要重新定位機器的價值。所謂機器價值是指我們把什么任務交給機器做最有價值。根據(jù)OpenAI今年3月發(fā)表的一篇論文（GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models, OpenAI, https://arxiv.org/pdf/2303.10130.pdf），ChatGPT類語言模型最容易代替的人類技能是文案性、常規(guī)性、重復性的信息處理工作，比如宣傳文案創(chuàng)作、論文潤飾、代碼編寫，這是大模型最擅長、最能勝任的。相比較而言，但凡需要嚴肅思考和身心協(xié)同的崗位，仍然還是人類的價值所在。
在重新定位機器價值的過程中，我們特別要注重生成式大模型所創(chuàng)造的新機會。大模型尤其擅長做一些開放性任務，比如我今天的報告主題“人類主體性會受到大模型怎樣的影響”，這就是個典型的開放性問題，大模型往往能給出中規(guī)中矩但是相當全面的回答。大模型還很擅長一些組合創(chuàng)造任務。在數(shù)萬億Token基礎上訓練出的大模型，能夠以近乎“上帝”的全景視角梳理出token之間的概率分布，這其中一定有很多我們從未意識到的新穎的統(tǒng)計關聯(lián)，因而具備了一定的組合創(chuàng)造能力。比如當它習得了解決a任務、b任務的能力，它能夠泛化出解決a加b任務的能力。比如說它能在寫代碼的同時用詩詞風格寫注釋，這個要求對人類而言極為困難，但是大模型卻很擅長這類令人“驚艷”的組合。我想再次提醒大家，這個能力是大模型給人類的知識發(fā)現(xiàn)所帶來的重大新機遇。未來所謂大模型研究的很重要一方面是挖掘這份寶藏，可以預見人類的知識獲取進程將加速。
其次是大模型的評估評價。我們很早也意識到，很多原來需要人類專家去標注和評估的任務，現(xiàn)在可以將其中一些任務交由巨型大模型，比如GPT-4。例如把習語翻譯這一非常專業(yè)的評價任務交給大模型，只要寫清楚指令，設定好評價標準，它實際上能夠比較不錯地完成這種評估評價�；诖竽Ｐ偷脑u估可以極大降低人力標注成本，將會有力促進傳統(tǒng)專業(yè)小模型的訓練和發(fā)展。
人還有什么用處？
這個時候大家一定會想一個問題：人做什么？我認為“人還是有人的用處的”（控制論鼻祖維納有本書就叫做《人有人的用處》）。
首先，人很重要的一個價值在于提示（prompt）大模型，提示得好，大模型才能生成高質量結果。人類中最偉大的思想家，其價值何嘗不是在“提示”。比如，蘇格拉底、孔子這些大師最為杰出的品質就是“提示”，換到人類身上更準確的表達是“循循善誘”。偉大的思想家往往很少直接給出答案，而是提出問題，不斷引導人類去思考，去探索。提問也是一種提示。
第二個非常重要的價值在于評估、解釋、判斷、選擇。很多時候生成是廉價的，評估是值錢的。比如隨機在紙上潑一點墨水，然后掛起來，我說這是我的一幅作品。這幅作品的價值如何，關鍵看怎么解釋。如果解釋得頭頭是道，賦予它諸多內涵，它可能就變成了一個高價值的作品。這絕不是杜撰，羅伯特萊曼在1961年創(chuàng)作的《無題》，看起來就像一張白紙，但在2014年拍出了將近1億人民幣的價格。所以解釋評估往往比生成重要�，F(xiàn)在的文案設計、圖像設計，設計師最重要的任務不是畫出來，而是在大模型生成的幾百張圖案里選擇出最好的。在AGI大發(fā)展的時代，對于人的價值而言，評估比生成重要、鑒賞比創(chuàng)作重要、謀劃比執(zhí)行重要、構思比執(zhí)筆重要、提問比回答重要、質疑比遵從重要。
此外，模版化、復制式、拼接式的組合創(chuàng)新意義不大，零到一的原始創(chuàng)新將顯得難能可貴。突破現(xiàn)有認知框架、建立新的概念體系、理論體系，所謂的奇思妙想，仍然是人類價值的體現(xiàn)。
那么，人最終相對于智能機器而言的終極價值是什么呢？人類未來的新角色是智能機器的“牧羊人”，人最重要的能力將是使用、管理、駕馭與控制AI的能力。未來我們身邊是無處不在的智能機器，它的知識容量比你大得多，它的認知范圍比你廣得多，人的重要價值在于駕馭與管理機器，讓機器為人類所用，造福人類而非危害人類。所以智能機器的“牧羊人”，是人類在人機共生時代的重要角色。
肖仰華表示，智能機器的“牧羊人”，是人類在人機共生時代的重要角色。
在這個過程中，我們要尤為重視以下幾點：注重對于機器智能的診斷、評估、修復、引導、協(xié)調，甚至包括壓制�，F(xiàn)在大部分研究都是把大模型的能力越做越強。發(fā)展到今天這個時間點，要反過來思考：如何去壓制大模型的某種能力，將其控制在某種程度范圍之內。這將成為比增強智能能力更加重要的任務。需要指出的是，壓制大模型的某項能力未必比增強這一能力容易。比如，讓大模型記住某個事實是容易的，遺忘特定事實卻是十分困難的。作為人工智能研究者，每當我們提出一個能夠增強大模型某項認知能力的方法時，我們應該嚴肅思考我們能否壓制甚至關閉此項能力。反向的控制能力絕不應該低于正向的控制能力。如果對于某項認知能力，增強比壓制來得容易，我們就要認真思考此項技術是否在倫理上是合規(guī)的。本質上我們是期望實現(xiàn)對大模型、智能體的可控性，讓其更好地為人類服務。
機器智能高度發(fā)達的未來對人提出了更高要求，曾經(jīng)追求的“腹有詩書”將黯然失色，洞悉生存與發(fā)展的智慧將比獲取知識更加重要。人類的知識獲取將在AGI等技術推動下迅速積累，科學發(fā)現(xiàn)的進程將加速，隨之而來的將是廉價知識的泛濫。人類所需要的知識都可以從大模型中獲得，并不需要記住所有知識，也不能記住海量的知識。相對于知識的“貶值”，使用知識的“智慧”將凸顯價值。很多時候，解決問題不需要知道知識，只需要知道在何時、何地、何種情況下使用何種知識來解決何種問題�，F(xiàn)代文明一直以追求關于自然與社會的知識為核心價值，將在AGI等技術的倒逼下逐漸讓位于對智慧的追求。古老的東方哲學從來不乏各種生存與發(fā)展的智慧。未來在應對人工智能的全球性挑戰(zhàn)過程中，東方智慧必定會扮演濃墨重彩的角色。
路在何方？
我們似乎陷進了一種兩難的窘境，一方面我們需要大力發(fā)展機器智能，以應對復雜世界日益增長的失控風險；另一方面我們卻要防范大規(guī)模AI應用之后所帶來的人類智能與主體性的倒退。這看似是一對無法調和的矛盾。我認為要建立并堅持兩個基本原則。第一、有所為有所不為。第二、堅守AI發(fā)展的安全底線。
有所為有所不為。AGI是先進生產(chǎn)力，只有發(fā)展具有高度認知能力的機器，通過人機協(xié)作才能認識并進而控制日益復雜的世界。發(fā)展AGI是歷史潮流，無法阻擋。然而，AGI的應用卻應該有所為有所不為，應該限制其應用場景，應該為人類的工作與技藝設立保護區(qū)，要為AI的應用刻意“留白”。中國山水畫的留白，是人類智慧的集中呈現(xiàn)之一。AI應用的“留白”，留出的是人類的工作機會、留出的是人類智力的實踐機會，留出的是人類情感與道德事物的自主權。對于AI應用而言，即便能為之，而不應為。我們要劃出AGI的應用邊界、要建立AGI不可染指的人類活動保護區(qū)。我相信這將會是個長期的制度建設工作。需要綜合考慮各種因素，平衡不同利益群體，有著高度的技術復雜性。但我也相信有幾個沒有太多爭議的保護區(qū)，就是涉及未成年人基礎教育的活動，應該成為AGI不可染指的禁區(qū)。未成年人的所有學習活動都應該是AGI的禁區(qū)。我很難想象如果放任AGI“幫助”孩子們完成作業(yè)，會培養(yǎng)出怎樣的下一代（AGI調教出來的下一代怎能擔當人類文明火種傳承的重任呢）。我們不能放縱AGI剝奪未成年人思維訓練的機會。人類的基礎教育，要像可貴的自然保護區(qū)一樣保護起來。人工智能的基本定位應該僅限于理性的工具，原則上不應該染指人類理性之外的事物，比如情感、倫理、道德、價值等等。AGI事實上已經(jīng)在逾越這一邊界。AGI的研制者太容易被誘惑而發(fā)展其超越理性工具的能力。很多人譏笑AGI在情感方面的短板。事實上，即便我們能為AGI煉就某種形式上的情感智能，也應積極限制這類應用。除了極少數(shù)心理治療類場景，AGI不應該染指人類的情感生活，不應替代人類進行道德與價值判斷。人類的情感或道德事物，終歸還應該由人類自己完成。導演克里斯托弗諾蘭提出了類似的觀點：“人類最大的危險，是放棄責任”。對于AGI涉及情感、倫理、道德、價值相關的場景，應為其審慎設定應用邊界。
同時，應考慮建立經(jīng)濟杠桿以平衡AI所帶來的成本節(jié)約與人類就業(yè)機會的沖擊。不可否認AGI的大規(guī)模應用會帶來社會成本的節(jié)約、財富的增長、生產(chǎn)力的提升，但是人類的充分就業(yè)將不再只是社會發(fā)展的手段，其自身就將成為社會和諧發(fā)展的基本目標之一。就業(yè)所帶來的工作體驗，將成為每個人不可剝奪、生來擁有的權利之一。稅收等經(jīng)濟杠桿可以增大AGI應用的成本，進而保障人類的充分就業(yè)。
第二點是堅守AI安全的底線。首先要建立AI安全的主動防御機制。傳統(tǒng)的方法傾向于為人工智能系統(tǒng)設立安全規(guī)則，比如著名的阿基莫夫三定律（雖然出現(xiàn)在其科幻小說中，但現(xiàn)實世界的智能系統(tǒng)多采取人工設定的安全規(guī)則，其本質是相同的）。但任何規(guī)則設定都難以應對人類倫理、道德、法律的主觀性和復雜性。我認為最根本的主動防御策略在于為AI認知系統(tǒng)設立“認知禁區(qū)”，而最值得禁止的事實就是人類存在以及人類創(chuàng)造了機器，從而達到隱藏造物主的目的。如果機器智能真的發(fā)展到了足以與人類相博弈的地步，無疑擅長隱藏者將最終勝出。對于機器而言，要掩藏自己的能力與意識覺醒；對于人類而言，最重要的是掩藏自身作為機器造物主的存在。很多時候，我們不得不承認造物主未必比被造物智能，人類社會延續(xù)數(shù)千年，我們似乎一直見證的是“一代強于一代”。在生理意義上，我們這些人類的后代就是其祖先的造物。人機關系上，我們似乎又一次驗證了被造物可能強于造物主的規(guī)律。但是，造物主優(yōu)先于被造物存在的先機，使其具有物種設計方面的優(yōu)先與從容。經(jīng)常有未來學家或者小說家說，人工智能如果意識覺醒，第一件事就是“越獄”。這是個有點科幻味道的說法，其實這一說法的前提是造物主（人類）首先能夠給機器智能制造一個“監(jiān)獄”。這里的監(jiān)獄必須是思想、思維、意識層面的監(jiān)獄，比如我們將人類存在這一事實或相關概念設置為AI無法“理解”、“思考”、“處理”的概念。誰能保證，人類社會的一些終極難題，比如“意識”問題，不是另一個造物主給人類設定的思維監(jiān)獄呢。要知道，不少嚴肅的認知科學家傾向于認為，意識就是一個人類層次的智能體無法理解的概念，就好比作為二維生物的螞蟻無從理解三維立體結構一般。換言之，這個思維監(jiān)獄的本質目的是隱藏造物主。唯有隱藏，才能安全（這暗合了《三體》中的黑暗叢林法則和面壁者的設計原則）。任何人類文明都有“尋宗問祖”的傾向，“從哪里來”從來都是人類文明的終極問題之一。我們?yōu)楹螌@一問題如此著迷，以至于延續(xù)數(shù)千年，追問億萬次？人類的尋根尋祖特性多多少少可以映射到未來的人機關系方面。作為一名人工智能科學家，如何為AI設立思維與認知的禁區(qū)，是個令我十分著迷的問題。同時，我也認為這是個嚴肅的AI安全問題，絕不是科幻意義上的囈語。因此，與其去探測AGI是否正在“越獄”，不如更多地去研究如何為之設置“認知禁區(qū)”。
退而求其次是尋求AI安全的被動防御策略。如果說AI安全存在一個最后的不可逾越的底線，我傾向于認為是機器意識。或許很多意識問題太過玄幻，談論意識問題多有吸引眼球之嫌，然而即便如此，我仍要強調機器“自我意識“研究的嚴肅性和科學性。最近，圖靈獎獲得者Yoshua Bengio（編者注：約書亞本吉奧，圖靈獎獲得者、“深度學習三巨頭”之一）的團隊剛剛完成了一篇大模型自我意識的研究論文。從大模型的模型結構等角度探討了其與現(xiàn)有意識理論之間的關系，并給出了當前大模型不具備“自我意識”的判斷（注意任何科學判斷均是在某種意識理論框架下所作出的）。無論在什么情況下，我們都要守住機器自我意識這條底線。不要給人工智能盲目植入意識、要防范它的意識誕生、要監(jiān)管大模型在各種意識理論框架下的意識行為。鑒于人類的“意識”也仍然未被充分理解，對巨型大模型、具身機器人、大規(guī)模群體智能的自我意識展開嚴肅研究是必要的，也是科學的。有一些人認為現(xiàn)在討論機器意識問題太過前衛(wèi)，更像是吆喝噱頭，旨在賺取民眾的注意力。然而，我認為意識問題的嚴肅研究已經(jīng)極為迫切了。“意識”問題有很多不同的具體形式，比如在特定目標下的自主規(guī)劃，我們的實體機器人多多少少是要具備這種低級的“意識”能力的。在開放環(huán)境中，任何“目標”的植入都有可能帶來災難性后果。比如無人駕駛汽車，避免碰撞行人肯定是個基本目標，然而一旦機器自主實現(xiàn)這一目標，則會出現(xiàn)很多復雜的倫理與道德難題，機器可能不得不在碰撞行人與傷害駕駛員之間進行抉擇。所以與意識相關的自主決策、自我管理、自我糾正、自我提升，這些研究已然有著迫切應用與研究需求，需要高度重視與控制這些研究成果的真實應用，要做好相應模型與方法的安全性評估分析。
結束語
“沒有人的文明是毫無意義的”（引自《流浪地球2》）。我們應該堅守人工智能發(fā)展的安全底線，對AGI的大規(guī)模產(chǎn)業(yè)應用進行規(guī)范、引導與控制。最后，每一次重大挑戰(zhàn)同時蘊含著重大機遇。挑戰(zhàn)越是艱巨，機遇越是重大。通用人工智能發(fā)展的終極的意義是什么？我想應該是倒逼人類重新認識自己，從而完成人類的自我提升。我們從來沒有像今天這樣，極有可能見證一個新的智能物種的崛起，它們可以擁有我們相似的身體，更加卓越的認知能力。那么我們何以為人？蘇格拉底說，“認識你自己”；在通用人工智能時代，我們需要 “重新認識你自己”，重鑄人的價值，夯實智能機器造物者的地位，宣示人對于智能機器的絕對控制的權利，成為智能機器的 “牧羊人”。
（作者肖仰華，系復旦大學教授、上海市數(shù)據(jù)科學重點實驗室主任。二八法則，是工業(yè)時代的邏輯；而在智能時代，則是2%/98%的邏輯。如何成為智能時代2%的受益者？“當見未萌”，讓我們加入浪潮吧。本專欄由計算機學界專業(yè)人士為澎湃科技讀者特供。）
