【文/觀察者網(wǎng) 呂棟】
剛剛在上海閉幕的第六屆世界人工智能大會（WAIC），火爆程度可謂歷屆之最。在會上，AI大模型是當(dāng)之無愧的焦點(diǎn)，而芯片和算力作為大模型的基礎(chǔ)，也成為與會專家學(xué)者口中的高頻詞匯。
“沒有大算力，做大模型就是天方夜譚。”本屆WAIC期間，中國工程院院士、鵬城實(shí)驗(yàn)室主任高文在騰人工智能產(chǎn)業(yè)高峰論壇上演講時(shí)直言，使用算力訓(xùn)練大模型，就像工業(yè)中使用電力一樣，想靠省電做出什么產(chǎn)品來，真正懂行的人聽了都不信，大模型一定要有算力作為基矗
他指出，算力已成為數(shù)字經(jīng)濟(jì)發(fā)展中的一個(gè)指數(shù)，美國的算力指數(shù)現(xiàn)在排名全球第一，比中國大概多了20%-30%的算力，GDP也比中國多20%-30%，“什么時(shí)候我們的算力超過了美國，咱們的GDP也就有望超過美國了。所以發(fā)展人工智能和數(shù)字經(jīng)濟(jì)，沒有匹配的算力是不可能的。”
圖源：觀察者網(wǎng)
根據(jù)工信部數(shù)據(jù)，截至2022年底，我國算力總規(guī)模已達(dá)180EFLOPS，近五年平均增速超30%，算力規(guī)模排名全球第二。但這其中很大一部分是通用算力，而不是更適合大模型訓(xùn)練的智能算力。
中國信通院發(fā)布的《中國算力指數(shù)發(fā)展白皮書（2022）》顯示，中美在全球算力規(guī)模中的份額分別為33%、34%，其中通用算力分別為26%、37%，智能算力分別為28%、45%，超級算力分別為18%、48%。
建設(shè)更多的智能算力，成為中國AI產(chǎn)業(yè)向前發(fā)展的當(dāng)務(wù)之急。
據(jù)高文介紹，鵬城實(shí)驗(yàn)室已經(jīng)與華為合作，建設(shè)了大規(guī)模AI計(jì)算集群“鵬城云腦Ⅱ”，該集群搭載了約4000顆華為騰AI芯片，相當(dāng)于4000塊英偉達(dá)A100 GPU的算力，目前算力規(guī)模是1000P，并且該集群實(shí)現(xiàn)全棧軟硬件自主可控，蟬聯(lián)多項(xiàng)全球AI性能榜單冠軍。
他近期在深圳一場講座上還曾提到，“鵬城云腦II”作為國內(nèi)首個(gè)全面自主可控的E級智能算力平臺，當(dāng)前的性能以及人工智能算力水平達(dá)到國際領(lǐng)先。目前，“鵬城云腦II”有超過七成的機(jī)時(shí)對外開放服務(wù)，已支撐起諸多國產(chǎn)AI大模型的訓(xùn)練。
高文還透露，下一代鵬城云腦正在籌建中，其算力將是“鵬城云腦II”的16倍，建成后能更好支撐6G技術(shù)和人工智能大模型訓(xùn)練，有望成為國際首個(gè)支撐新一代智能網(wǎng)絡(luò)通信創(chuàng)新研究的重大科學(xué)基礎(chǔ)設(shè)施和國內(nèi)首個(gè)支持?jǐn)?shù)據(jù)密集型智慧科學(xué)研究的大科學(xué)裝置。
根據(jù)高文在本屆WAIC上披露的信息，“鵬城云腦III”預(yù)計(jì)2024年底到2025年初建成，算力將達(dá)到16E，也就是16000P智能算力。
圖源：觀察者網(wǎng)
官網(wǎng)介紹，鵬城實(shí)驗(yàn)室是中央批準(zhǔn)成立的突破型、引領(lǐng)型、平臺型一體化的網(wǎng)絡(luò)通信領(lǐng)域新型科研機(jī)構(gòu)。實(shí)驗(yàn)室聚焦寬帶通信、新型網(wǎng)絡(luò)、網(wǎng)絡(luò)智能等國家重大戰(zhàn)略任務(wù)以及粵港澳大灣區(qū)、中國特色社會主義先行示范區(qū)建設(shè)的長遠(yuǎn)目標(biāo)與重大需求，開展領(lǐng)域內(nèi)戰(zhàn)略性、前瞻性、基礎(chǔ)性重大科學(xué)問題和關(guān)鍵核心技術(shù)研究。
以下是高文院士演講全文（觀察者網(wǎng)根據(jù)現(xiàn)場講話整理，未經(jīng)本人確認(rèn)）：
各位專家、各位領(lǐng)導(dǎo)，大家下午好！
前面的領(lǐng)導(dǎo)都講的很好，算力是非常重要的一件事，今天上午陳書記也講到，上海要抓三件大事，人工智能領(lǐng)域，算力建設(shè)是非常重要的一方面，就像電力一樣，原來李克強(qiáng)總理抓經(jīng)濟(jì)的時(shí)候，有一個(gè)很重要的指數(shù)就是“克強(qiáng)指數(shù)”，是靠電力消耗看整個(gè)經(jīng)濟(jì)發(fā)展順不順利，或者是正常不正常。
從現(xiàn)在開始，算力也是數(shù)字經(jīng)濟(jì)發(fā)展的一個(gè)指數(shù)。算力夠，數(shù)字經(jīng)濟(jì)就能發(fā)展好，不夠就發(fā)展不好。所以，算力建設(shè)尤其是智能算力建設(shè)就非常關(guān)鍵。我在這里，跟大家分享關(guān)于鵬城云腦的智算平臺，另外是分享一下，在這個(gè)平臺上做的鵬城腦海大模型。
首先算力很重要，但重要到什么程度呢？清華大學(xué)一個(gè)2022年的咨詢報(bào)告提到，經(jīng)過統(tǒng)計(jì)，算力指數(shù)和GDP是正相關(guān)的，一個(gè)國家算力越強(qiáng)，GDP就越強(qiáng)。美國現(xiàn)在算力指數(shù)排第一，比我們大概多了20%-30%的算力，GDP也比我們多20%-30%，什么時(shí)候我們的算力超越美國，咱們的GDP也就有望超過美國了。
正是因?yàn)樗懔@么重要，所以發(fā)展人工智能和數(shù)字經(jīng)濟(jì)，沒有匹配的算力是不可能的。要有算力，就要有芯片，芯片做成機(jī)器，才能用這個(gè)機(jī)器訓(xùn)練模型。
為了做這件事，我們2020年在深圳做了一臺機(jī)器叫鵬城云腦Ⅱ。在2020年，這臺機(jī)器的算力是全世界做人工智能訓(xùn)練最強(qiáng)的，比當(dāng)時(shí)微軟、谷歌的機(jī)器都要強(qiáng)，相當(dāng)于4000塊英偉達(dá)A100 GPU的算力，而且這臺機(jī)器是用全光網(wǎng)絡(luò)連接的，節(jié)點(diǎn)之間延遲非常低。
因?yàn)橛辛诉@臺機(jī)器，我們就可以做很多事，包括做科學(xué)研究、產(chǎn)業(yè)應(yīng)用還有關(guān)鍵技術(shù)的研發(fā)。這臺機(jī)器剛剛我說有4000塊卡，其中一方面是鯤鵬CPU，另外是騰NPU，都是華為的。
圖源：觀察者網(wǎng)
那么這臺機(jī)器的性能行不行呢？我們就參加世界TOP500的超算打榜，整個(gè)超算打榜也有其他的賽道，我們參加的是IO500的賽道，是一條考驗(yàn)輸出和輸入能力的賽道，從2020年10月份這臺機(jī)器做出來以后，我們11月份就參加打榜，連續(xù)6次第一，每半年有一次打榜，全節(jié)點(diǎn)連續(xù)兩次第一。
所以做人工智能訓(xùn)練這件事，別人沒辦法和這臺機(jī)器比。這臺機(jī)器不僅硬件強(qiáng)，接口能力和網(wǎng)絡(luò)也非常強(qiáng)，同時(shí)上面的軟件也配備得比較完備，包括怎么樣做分布式計(jì)算，怎么樣做命令調(diào)優(yōu)、自研調(diào)度規(guī)劃等等。
也許有的專家聽到過，有人說全世界能在1000塊卡上同時(shí)訓(xùn)練一個(gè)模型的只有幾千人，能在4000塊卡上訓(xùn)練的不超過100個(gè)人，在10000塊卡上訓(xùn)練模型的人數(shù)更少了。在大規(guī)模的卡上一起做事，對于軟件規(guī)劃、資源調(diào)度挑戰(zhàn)非常大。
我們不僅是把鵬城云腦Ⅱ用好，同時(shí)也承擔(dān)了國家發(fā)改委的任務(wù)，把華為生態(tài)包括騰AI集群的算力，不論是100P或900P的算力結(jié)點(diǎn)，用網(wǎng)絡(luò)把資源連起來，可以向外界提供。同時(shí)按照發(fā)改委的要求，希望這是異構(gòu)的算力網(wǎng)平臺，我們在華為生態(tài)以外，也選擇了部分其他廠商的算力，在2022年6月這個(gè)項(xiàng)目驗(yàn)收的時(shí)候，已經(jīng)聚合的智能算力達(dá)到2300P，鵬城云腦Ⅱ只是1000P，而這個(gè)系統(tǒng)已經(jīng)聚集了2300P的智能算力。
有了鵬城云腦Ⅱ可以訓(xùn)練大模型了，但訓(xùn)練大模型還是很費(fèi)算力的，即使可以訓(xùn)練大模型，現(xiàn)在的算力供給根本不夠用，因此我們正在規(guī)劃做鵬城云腦Ⅲ。
下面我說說大模型。
鵬城實(shí)驗(yàn)室正在做一個(gè)2000億參數(shù)的大模型，也就是200B的參數(shù)，為什么做這件事呢？因?yàn)橛蠧hatGPT和類ChatGPT大模型在不停涌現(xiàn)，同時(shí)現(xiàn)在很多公司都用這個(gè)東西做產(chǎn)業(yè)應(yīng)用，去做服務(wù)。所以現(xiàn)在模型變得很重要了，但現(xiàn)在有錢的公司可以砸?guī)讉�(gè)億做這樣的機(jī)器，甚至十幾個(gè)億和幾十個(gè)億，而大多數(shù)公司是做不了的。
圖源：觀察者網(wǎng)
這個(gè)領(lǐng)域需求這么大，怎么辦？鵬城實(shí)驗(yàn)室可以做一個(gè)底座，把模型訓(xùn)練完開放出去，大家在這個(gè)底座上做垂直應(yīng)用。按照這樣的思路，我們首先有鵬城云腦Ⅱ的算力，前一階段我們積累了很多數(shù)據(jù)，這一段時(shí)間我們通過各個(gè)渠道，包括購買，拿到數(shù)據(jù)先做清洗，清洗數(shù)據(jù)的工作很重，可能拿到100個(gè)數(shù)據(jù)，清洗完就剩幾個(gè)了，因?yàn)橛泻芏嗍侵貜?fù)和不規(guī)范的數(shù)據(jù)，這些東西拿掉后，數(shù)據(jù)量就變得很校雖然拿了很多數(shù)據(jù)，但是真正用來做訓(xùn)練的數(shù)據(jù)只有1%-5%。有了這些數(shù)據(jù)，我們就可以做大模型底座。
這個(gè)大模型底座用的就是生成式預(yù)訓(xùn)練模型，也就是和GPT完全類似的底層�，F(xiàn)在這個(gè)2000億參數(shù)規(guī)模的大模型訓(xùn)練出來以后，我們希望把它給到合作伙伴那里，而且提供相應(yīng)的指令微調(diào)和相應(yīng)的人工增強(qiáng)學(xué)習(xí)的工具，甚至在一兩個(gè)垂直領(lǐng)域作為垂直應(yīng)用樣板。因?yàn)槿A為在這方面很有經(jīng)驗(yàn)，我們建議誰想做垂直應(yīng)用，可以找華為獲得一些咨詢。
我們希望能快速把這個(gè)模型做完推向社會，讓業(yè)界在這個(gè)模型上，開發(fā)中國自己的人工智能大模型應(yīng)用系統(tǒng)�，F(xiàn)在我們正在緊鑼密鼓地往前推，應(yīng)該是8月底第一次訓(xùn)練就完成了，9月份就會把模型開放出去。
現(xiàn)在訓(xùn)練的數(shù)據(jù)有多大呢？我們說的是喂數(shù)據(jù)，每天喂10個(gè)B，但是最重要的是喂一個(gè)T的數(shù)據(jù)，而一個(gè)T是由幾百個(gè)T清洗來的，現(xiàn)在數(shù)據(jù)都是中文和代碼數(shù)據(jù)，4000多塊卡的機(jī)器每天可以吃掉10個(gè)B，100天就能吃掉1000個(gè)B，也就是一個(gè)T，因此訓(xùn)練2000億參數(shù)的模型，需要4000塊卡訓(xùn)練100天。
這就是算力的重要性，如果算力不足的話，做一個(gè)模型還是很辛苦的，而且現(xiàn)在這個(gè)模型才訓(xùn)練一個(gè)T的數(shù)據(jù)，如果訓(xùn)練兩到三個(gè)T的話，還要加兩到三個(gè)100天，沒有大算力做大模型就是天方夜譚。實(shí)際上這就和電力是一樣的，想靠省電做出什么產(chǎn)品來，真正懂行的人聽了都不信，一定要有算力作為基矗
圖源：觀察者網(wǎng)
怎么樣把數(shù)據(jù)做好、訓(xùn)練的快，我們有一套體系。
有個(gè)開源社區(qū)叫啟智開源社區(qū)，這里有很多工程師在做飛輪數(shù)據(jù)工程，可以使清洗數(shù)據(jù)做得非常快，有很多自動和半自動的清洗數(shù)據(jù)。同時(shí)我們要考慮應(yīng)用的時(shí)候有隱私數(shù)據(jù)，有一些數(shù)據(jù)應(yīng)用者，希望到這個(gè)模型應(yīng)用一下，但是不希望自己的數(shù)據(jù)被丟掉或者是被看到，我們也提供了隱私數(shù)據(jù)保護(hù)的模塊。
我們希望鵬城腦海大模型訓(xùn)練出來以后，可以快速向社會賦能，可以讓大家做數(shù)字政府、一帶一路、智能制造、智慧金融、智慧醫(yī)療等各種各樣的應(yīng)用。而且我們還有完整的教育計(jì)劃、人才計(jì)劃，希望通過高校和合作伙伴培養(yǎng)更多AI人才，能讓中國的大模型應(yīng)用快速啟動。
總結(jié)一下，鵬城實(shí)驗(yàn)室在鵬城云腦Ⅱ硬件平臺和鵬城腦海大模型這兩件事上，都在和華為合作往前推進(jìn)，希望可以對中國人工智能大模型的應(yīng)用貢獻(xiàn)一點(diǎn)力量。作為一個(gè)基石，希望大家多關(guān)心、多參與。
本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。
