11月4日，第二屆開放原子開源基金會 OpenHarmony技術(shù)大會在京召開。中國工程院院士、清華大學計算機系教授鄭緯民在會上表示，要大力開展基于國產(chǎn)AI芯片大模型基礎(chǔ)設(shè)施研究，完善國內(nèi)AI生態(tài)系統(tǒng)建設(shè)，做好整體系統(tǒng)工程化，關(guān)注軟硬件協(xié)同設(shè)計，解決大模型基礎(chǔ)設(shè)施建設(shè)的關(guān)鍵問題。
鄭緯民坦言，國內(nèi)AI生態(tài)尚未建設(shè)完善，“國產(chǎn)AI芯片只要達到國外芯片60%的性能，如果生態(tài)做好了，客戶也會滿意。大多數(shù)任務(wù)不會因為國產(chǎn)芯片性能只有（國外芯片性能的）60%而有明顯感知，大家感覺到的不好用還是生態(tài)不行。即使硬件做的很好，甚至比國外做的更好，但如果生態(tài)沒有做好，依然不被喜歡”。
軟件主要提供的是靈活性和效率提升，硬件算力提供了最基本的資源基矗要建好生態(tài)，首先要做好整體系統(tǒng)工程化、軟硬件協(xié)同設(shè)計。當前，新型硬件的使用對軟件系統(tǒng)設(shè)計提出了巨大挑戰(zhàn)。比如，隨著應(yīng)用程序?qū)λ懔π枨蟮娜找嫣嵘湍柖傻闹饾u放緩，新型計算硬件，特別是異構(gòu)加速處理器，成為了高性能計算發(fā)展的主流；為了打破存儲墻對應(yīng)用程序計算性能的桎梏，新型存儲器件，如固態(tài)存儲設(shè)備SSD等，也被廣泛應(yīng)用于高性能計算機。
與此同時，人工智能、圖計算、大數(shù)據(jù)等的廣泛應(yīng)用讓軟件也變得更為復雜。如何在新型硬件系統(tǒng)上設(shè)計與優(yōu)化新型應(yīng)用程序，新的硬件、新的軟件如何做優(yōu)化設(shè)計、做適配，成為一個亟待解決的關(guān)鍵問題。
人工智能計算具有計算密度高、需要大量低精度計算的特點。鄭緯民指出，隨著Transformer、MOE架構(gòu)的提出，使得深度學習模型輕松突破上萬億規(guī)模參數(shù)，傳統(tǒng)的單機單卡模式已經(jīng)無法滿足超大模型進行訓練的要求，包括數(shù)據(jù)并行、模型并行、專家并行在內(nèi)的并行訓練已成為大模型訓練的“標配”。
比如在國產(chǎn)的新一代神威高性能計算機中，包含了96000個節(jié)點、37440000個核心以及互連網(wǎng)絡(luò)。神威采用的是新一代體系結(jié)構(gòu)芯片神威26010pro，以及支持MPI通信的國產(chǎn)自主高速網(wǎng)絡(luò)。神威超級計算機契合了大規(guī)模預(yù)訓練模型的需求。據(jù)悉，鄭緯民院士團隊在國產(chǎn)E級高性能計算機上訓練了一個170萬億參數(shù)的超大規(guī)模預(yù)訓練模型，模型參數(shù)可與人腦中的突觸數(shù)量相媲美。
“在訓練這一超大規(guī)模預(yù)訓練模型中，需要考慮四個問題：一是半精度運算性能與雙精度運算性能的平衡；二是網(wǎng)絡(luò)平衡設(shè)計；三是內(nèi)存平衡設(shè)計；四是核心子系統(tǒng)平衡設(shè)計。這四點做好了，別人要用1萬塊AI芯片訓練大模型，我們只用9000塊就可以了。”鄭緯民感嘆說道。
生態(tài)是一切產(chǎn)業(yè)發(fā)展的基矗完善的生態(tài)可以加速知識、技術(shù)、應(yīng)用場景的積累，使創(chuàng)新成果更快地轉(zhuǎn)化為產(chǎn)品，連接產(chǎn)業(yè)鏈上下游，也可以為人才的培養(yǎng)和流動提供良好平臺。
鄭緯民表示，在數(shù)字經(jīng)濟時代，摩爾定律的持續(xù)實現(xiàn)，為人工智能的進一步發(fā)展提供了關(guān)鍵的基礎(chǔ)，需要通過軟硬件密切協(xié)同，才能進一步加速算力提升和使用效率。算力、網(wǎng)絡(luò)具備很強的公共基礎(chǔ)設(shè)施特性，只有加快建立一個開放性的產(chǎn)業(yè)生態(tài)，把選擇權(quán)交給用戶，才能驅(qū)動行業(yè)百花齊放，從而真正促進大模型產(chǎn)業(yè)的健康發(fā)展。
