作者 ｜楊逍
編輯 ｜蘇建勛
半導體公司參展世界人工智能大會（WAIC）已成慣例，然而今年，大多數(shù)觀眾奔向一家半導體公司展臺后的第一件事，是尋找“大模型”三個字。
大模型在國內爆火已半年有余，算力一直是讓各公司們頭疼的問題。大模型訓練，需要高質量的數(shù)據(jù)和龐大的算力作支撐，由于種種原因，國內廠商想買到英偉達A100、H100芯片十分艱難；而較容易買到的A800芯片價格又相對高昂。
據(jù)36氪了解，國內有萬卡儲備規(guī)模的大模型公司不到10家，多為百度、字節(jié)、阿里、幻方量化這樣的巨頭。
可以說，算力正成為禁錮大模型公司的一大瓶頸。
國內半導體公司何時能撐起中國大模型的未來，成為行業(yè)關注的話題。
本次WAIC上，除后摩智能、知存科技等存算一體公司以外，幾乎所有AI芯片公司都在展臺上布設了“大模型”展頁，介紹自家產品對大模型和AIGC應用的支撐能力。
從時間點看，一款芯片從研發(fā)立項到設計、流片到送測、量產，需要3～5年時間。此前，芯片廠商在做芯片設計上并未朝著大模型訓練功能方面設計，目前展出的多為過往推出的產品。
在多數(shù)國內芯片廠商看來，行業(yè)模型類公司是他們更好的機會，能同時滿足訓練和推理一體化能力的芯片產品具有市場未來。
AI芯片公司擁抱 “大模型”
在WAIC大會展覽館內，大模型廠商占據(jù)半場，半導體公司占據(jù)另外半常走到世博H2展館，昆侖芯、登臨、瀚博、天數(shù)智芯、燧原、墨芯、沐曦等AI芯片廠商的展臺，密集地簇擁在一起。
芯片制程和算力不再是AI芯片最被關注的話題，能否支撐大模型，可以做訓練還是推理，適配了什么模型，速度如何，精度如何，功耗如何，顯存采用什么芯片，達多大內存，一系列圍繞大模型展開的問題成為參展嘉賓的關注重點。
具備支撐大模型訓練能力還是推理能力，對芯片而言是一個分水嶺。
推理是比訓練更容易實現(xiàn)的事情。大模型的訓練，是將百億、千億的數(shù)據(jù)喂給算法，最終訓練出一個模型的過程，它對芯片計算速度和穩(wěn)定性要求非常高；推理則是借助大模型，給他喂一個數(shù)據(jù)、問題后，生成答案的過程，需要的單個問題計算量大幅降低。
在展會上，昆侖芯、天數(shù)智芯、燧原等少數(shù)幾家公司表示具有支持大模型訓練的能力。
昆侖芯AI加速卡RG800的峰值為256 TOPS@ INT8和128 TFLOPS@FP16，展臺相關產品介紹表示，“可用于常規(guī)模型訓練，也可用于多業(yè)務并發(fā)的高性能推理”。
天數(shù)智芯的產品可以支持大模型訓練、推理，據(jù)展臺人員介紹：“我們在上半年搭建了搭建40P算力320張?zhí)燠?00加速卡算力集群，完成了智源研究院70億參數(shù)大模型訓練。當前天數(shù)智芯正在搭建 200P 算力 1600 張卡的算力集群，支持 650 億參數(shù)的大模型訓練。”
燧原科技展示的第二代訓練產品“云燧T20/T21”已經(jīng)量產并落地在重點實驗室和成都智算中心。據(jù)展臺人員介紹，目前已可以支持多個大模型，并在現(xiàn)場演示了基于LLaMA的聊天機器人、文生PPT和多媒體生成的demo。
對于大模型訓練而言，需要數(shù)據(jù)精度達FP16、FP32級別。根據(jù)各家官宣數(shù)據(jù)，天數(shù)智芯的智鎧100、燧原邃思2.0、昆侖芯二代AI芯片、登臨科技新一代Goldwasser最高能支持FP32級別的數(shù)據(jù)。
大多數(shù)AI公司主要介紹的是AI芯片對大模型的推理能力。沐曦、登臨、算能、墨芯等都帶來了自己的AI推理芯片及產品。
對芯片的判斷指標主要有算力、功耗、精度、顯存等維度。算力越高，計算速度越快；功耗越低，耗電和運營成本越低；可支持數(shù)據(jù)精度越高，能訓練和識別的顆粒度就越高；顯存容量越大，則能處理的數(shù)據(jù)量越大，能較好支撐大模型所需的大量數(shù)據(jù)計算過程。
算力維度上，墨芯采用稀疏化的技術路線，其S30能提供2832 TOPS(INT8)、1415.4 TFLOPS(BF16)的稀疏等效算力，功耗僅250W，不過相對而言，其產品在通用性上還有提升的空間。
沐曦曦思N100的單卡算力達160TOPS（INT8）和80TFLOPS（FP16），瀚博則首發(fā)了LLM大模型AI加速卡VA1L，具備200 TOPS INT8和72 TFLOPS FP16算力。
顯卡角度，海飛科的Compass C10通用GPU和登臨新一代Goldwasser（高凜）都擁有128GB的顯存。海飛科官方資料表示，能支持單卡部署百億級參數(shù)大模型進行推理。瀚博也表示，基于VA1L的大模型一體機整機擁有512GB顯存，可以支持部署1750億參數(shù)的大模型。
AI芯片硬件性能只是一個方面，想要讓國產芯片能用起來，軟件能力會是更重要的壁壘之一。算力的釋放需要復雜的軟硬件配合，才能將芯片的理論算力變?yōu)橛行懔Α?/strong>
英偉達曾用3000多名工程師構建出一個強大的Cuda，它已成為英偉達強大的生態(tài)壁壘。這套框架里集成了很多調用GPU算力所需的代碼，工程師可以直接使用這些代碼，無須一一編寫。
一位關注基礎軟件的投資人曾告訴36氪：“沒有CUDA，調用GPU的代碼會寫到地老天荒，不可能所有的東西都自己寫。”
國內公司在軟件生態(tài)上有兩個流派，如寒武紀、昆侖芯就選擇自建軟件生態(tài)，再造一個Cuda軟件能力和工具棧；更多公司則選擇和Cuda對接，如天數(shù)智芯、摩爾線程、燧原、登臨等，讓自己的產品與Cuda作兼容。
此外，國內AI芯片公司也都在加強適配能力，適配更多的大模型和開源模型。
多家公司向36氪表示，未來將推出能同時做訓練和推理芯片的產品，產品分別預計于2023年第四季度到2024年間推出。
訓推一體芯片是未來
大模型廠商正處于百模大戰(zhàn)的階段，有做L0級別技術大模型的大廠，做L1級別行業(yè)大模型的應用企業(yè)，還有部分微調的場景大模型。
目前，大部分國內AI行業(yè)公司認為，國產芯片最先的落地方向是行業(yè)模型。
一是因為，相較于大模型，行業(yè)模型更容易訓練和落地，需求也更大。
部分垂直行業(yè)客戶市場化部署時，希望基于最小算力成本來實現(xiàn)模型的落地。相較于從0開始訓練大模型，“微調”對客戶而言，是一個經(jīng)濟性更高的方法。
多位采訪對象向36氪表示，目前，相比于千億、數(shù)千億參數(shù)的大模型，國內垂直行業(yè)較大模型更容易落地，也是國內芯片公司最容易落地的場景。
行業(yè)垂直客戶通常存在精調訓練和推理的需求，低成本且快速地采用大模型的能力。他們不想購買兩種不同的芯片，訓推一體化芯片能很好滿足客戶需求。
推出兼具訓練、推理功能的芯片成為趨勢，訓推一體化芯片也是大多國內AI芯片公司在大模型算力需求浪潮下的抓手。
二是因為，L0級別的技術大模型廠商，更傾向于選擇頭部供應商。在目前爭分奪秒的大模型訓練階段，國產AI芯片公司很難成為其供應商。
對阿里、百度、騰訊、面壁選擇L0級別大模型的公司而言，成本不是第一要考慮的問題。為更好實現(xiàn)大模型效果，他們會優(yōu)先選擇英偉達的產品，保證從算力層面不加大與國際同行間的差距。
有行業(yè)人士曾告訴36氪，目前大模型公司的算法和數(shù)據(jù)也存在難題，大模型訓練需要數(shù)月不間斷，國產芯片的穩(wěn)定性尚未得到充足驗證。一旦訓練發(fā)生中斷，是算法的問題還是芯片的問題，這很難界定。大模型公司也不愿冒這個風險。
國內公司也可以滿足千億級別模型的訓練需求，在單卡訓練算力不足情況下，堆量是一個方法。
針對這一類需求，需要華為晟騰、昆侖芯等公司，通過RDMA互聯(lián)等形式，構建出上百臺服務器、數(shù)百張卡的集群，通過集群的方式堆疊算力，增加計算能力，再通過軟件能力對算力統(tǒng)一調度。
算力資源常需要以池化的形式呈現(xiàn)，由于不同芯片在底層硬件和上層軟件調度方式、接口上存在差異，為更好調度算力，基建通常不會采用多家公司的芯片硬件。數(shù)據(jù)中心通常更愿意采用同一種芯片，或者同一公司的不同芯片，來降低算力池化難度。這就意味著，一個數(shù)字基建工程需要選擇單獨一家公司的產品。
國內AI芯片公司大多成立時間不足5年，芯片需要硬件和軟件層面的積累，產品需要一步一步迭代和設計。抓住需求，推出能力范圍內從成本、性能角度可替代的產品，在如今這個資本相對冷卻的環(huán)境下，先活下去，才能探索未來。
