每經(jīng)記者：朱成祥每經(jīng)編輯：陳俊杰
誰是生成式AI最大的受益者？至少在芯片產(chǎn)業(yè)鏈，一定是GPGPU（通用圖形處理器）絕對龍頭英偉達(dá)。在AI芯片，在GPGPU領(lǐng)域，天下英雄誰敵手？答案是沒有。
在優(yōu)良業(yè)績的助推下，英偉達(dá)一度站上一萬億美元市值。這是芯片行業(yè)內(nèi)其他公司難以企及的高度，其市值也達(dá)到芯片巨人英特爾的七倍。
作為英偉達(dá)的創(chuàng)始人，黃仁勛究竟有什么魔法把公司帶到如此高度。從近日黃仁勛在臺大的演講中，或能窺得一二。
“學(xué)會放棄，是邁向成功的核心關(guān)鍵。”黃仁勛是這樣說的，也是這樣做的。十年前的2013年，英特爾還在耗費(fèi)巨資補(bǔ)貼移動端平板廠商；華為憑借P6手機(jī)，帶領(lǐng)海思K3V2芯片初露鋒芒。而英偉達(dá)，卻漸漸淡出了彼時風(fēng)頭正盛的移動端SoC市常
“我們的放棄獲得了回報，我們創(chuàng)造了一個新的市場機(jī)器人技術(shù)。擁有神經(jīng)網(wǎng)絡(luò)處理器和運(yùn)行AI算法的安全架構(gòu)。”黃仁勛說道。
但任何人無法僅靠“放棄”獲得成功。放棄之外，黃仁勛更多的是“專注”。芯謀研究總監(jiān)李國強(qiáng)告訴《每日經(jīng)濟(jì)新聞》記者：“（英偉達(dá)的成果）源自它的專注，其長期專注于GPU領(lǐng)域，又趕上了AI生態(tài)的爆發(fā)。這兩個方面造成英偉達(dá)成為全球芯片產(chǎn)業(yè)王者。”
圖片來源：視覺中國-VCG31N1237120515
舍得放棄的“狂人”
身著皮夾克的“狂人”，這是業(yè)界對黃仁勛的印象，游戲玩家們在各大論壇中也常常親切地喊他“老黃”。由于英偉達(dá)每一階顯卡，在價格和性能上只比次一階高一些，因此黃仁勛也被稱為“刀客”，這種錯落有致的各階顯卡布局，也被叫做“老黃刀法”。
在這次演講中，老黃一改“皮衣刀客”的狂人形象，穿起了禮服，顯得溫文儒雅。演講中，黃仁勛講了一個有趣的故事。十年前，臺大陳教授邀請他來看其物理實(shí)驗(yàn)室，只見整個房間都是英偉達(dá)的游戲顯卡，插在開放式電腦的主機(jī)板上，金屬架上都是散熱用的大風(fēng)扇。陳教授告訴他：“黃先生，因?yàn)槟愕年P(guān)系，我可以完成我的事業(yè)。”
陳教授的話深深地感染了黃仁勛，“（陳教授）說的那些話至今仍感動我，完美詮釋了我們公司的價值：幫助這個時代的愛因斯坦與達(dá)芬奇完成他們的事業(yè)。”
愛因斯坦在創(chuàng)立廣義相對論的過程中，曾尋求同時代數(shù)學(xué)家的幫助。
而在如今這個時代，無論AI，亦或物理學(xué)、生物學(xué)的研究，都離不開算力的支持。英偉達(dá)，正是AI芯片的領(lǐng)軍者。
“放棄”與“專注”，可謂黃仁勛成功的關(guān)鍵。十年前，AI并不興盛，行業(yè)里關(guān)注的焦點(diǎn)是移動端。智能手機(jī)、平板的大爆發(fā)，使得移動端芯片成為各大芯片巨頭的“兵家必爭之地”。
英偉達(dá)在移動端“起得早”，卻最終放棄。據(jù)英偉達(dá)官網(wǎng)，早在2008年，英偉達(dá)就推出針對移動端的Tegra芯片；2011年5月，為了補(bǔ)基帶的短板，英偉達(dá)又收購了Icera公司，后者在針對3G和4G網(wǎng)絡(luò)的手機(jī)、平板電腦的高性能基帶處理器領(lǐng)域一直是領(lǐng)先的創(chuàng)新者。
當(dāng)時，黃仁勛宣稱：“這是英偉達(dá)在移動計(jì)算革命浪潮中成為領(lǐng)先公司的關(guān)鍵一步。通過將Icera公司的技術(shù)整合到Tegra中，我們將開發(fā)出一個極佳的平臺，用以支持行業(yè)中最好的手機(jī)和平板電腦。”
只是，在這輪移動計(jì)算革命浪潮中，英偉達(dá)失敗了，勝利屬于蘋果、高通和聯(lián)發(fā)科。2013年，英偉達(dá)在拉斯維加斯國際消費(fèi)電子展上發(fā)布Tegra4，這款芯片也成為英偉達(dá)在手機(jī)芯片領(lǐng)域的“絕唱”。此后，Tegra系列芯片主要應(yīng)用在任天堂Switch主機(jī)上。
AI芯片獨(dú)領(lǐng)風(fēng)騷
盡管當(dāng)下手機(jī)芯片行業(yè)不景氣，但這依舊是一個巨大的市常十年前，要做出放棄手機(jī)芯片市場的決定，更是非常艱難。
但黃仁勛選擇放棄一個規(guī)模巨大的市場，去創(chuàng)造一個未知的市常在演講中，黃仁勛感嘆：“從巨大的手機(jī)市場撤退，再創(chuàng)造一個不知道市場規(guī)模的機(jī)器人市常然而，現(xiàn)在的我們擁有數(shù)十億美元的自動駕駛、機(jī)器人技術(shù)的事業(yè)，也開創(chuàng)一個新的產(chǎn)業(yè)。”
在桌面CPU，英特爾、AMD雙雄并立；在移動端SoC，蘋果小幅領(lǐng)先，高通、聯(lián)發(fā)科、紫光展銳等公司各領(lǐng)風(fēng)騷。在AI芯片領(lǐng)域，不乏AMD、英特爾這樣的老牌芯片巨頭，也有芯片大神Jim Keller帶領(lǐng)下的初創(chuàng)公司Tenstorrent。盡管巨頭云集，大神匯聚，英偉達(dá)依然能夠“一騎絕塵”。
為何沒有敵手？“英偉達(dá)贏在CUDA（Compute Unified Device Architecture，英偉達(dá)推出的通用并行計(jì)算架構(gòu)），贏在軟件。”一位前券商分析師如此回復(fù)記者。其后，《每日經(jīng)濟(jì)新聞》采訪了多名行業(yè)專家及GPGPU行業(yè)工程師，CUDA幾乎均被提及。由CUDA構(gòu)建的軟件生態(tài)，是英偉達(dá)能夠獨(dú)領(lǐng)風(fēng)騷的關(guān)鍵。
英偉達(dá)領(lǐng)先其他GPGPU廠商的優(yōu)勢到底有多大？“院士與高中生的差別。”芯片工程師林達(dá)（化名）告訴記者。那英偉達(dá)跟AMD呢？“院士和大學(xué)教授吧。”其回復(fù)道。
拉開差距的關(guān)鍵，在于生態(tài)。“生態(tài)是第一位，（CUDA）跟安卓系統(tǒng)很像，太成熟、太方便，生態(tài)太強(qiáng)了。就像可樂一樣，程序員已經(jīng)習(xí)慣（CUDA）這個飲料了。而（CUDA）把門檻搞得很低，就好像你數(shù)學(xué)差，但是你會用計(jì)算器。”林達(dá)向記者解釋。
那么其他AI芯片公司能否使用類似CUDA的工具？比如AMD推出的ROCm（Radeon Open Compute Platform）以及非盈利組織Khronos Group推出的OpenAI。
林達(dá)舉例回復(fù)稱：“跟你買螺絲、扳手一樣。你也可以不通用，但是沒人陪你玩埃AMD也搞了個，但是自己都不用。”
軟件生態(tài)無可替代
與非網(wǎng)資深行業(yè)分析師張慧娟向記者解釋道：“英偉達(dá)2006年就推出CUDA了。正是CUDA的推出，降低了GPU的應(yīng)用門檻。軟件開發(fā)者可以通過CUDA使用C/C++等語言，來編寫GPU片上程序，降低了GPU的應(yīng)用門檻。也是從那時開始，GPU逐漸脫離了圖像處理這一單一用途。它不僅僅可以用于圖像處理，也可以用于高性能計(jì)算。”
簡單說，CUDA降低了GPU的門檻，使得GPU的應(yīng)用領(lǐng)域從圖像渲染拓展到方方面面，真正成為通用型處理器，因此也有了GPGPU（通用圖形處理器）的說法。
“英偉達(dá)所有架構(gòu)都在CUDA之上，一直從頭走到現(xiàn)在，包含了很多層級在里面，包括編譯器、調(diào)試器、豐富的庫函數(shù)、各種軟件工具，是很龐大的資源。假設(shè)現(xiàn)在有一個新的硬件平臺，但是不兼容CUDA，那么對開發(fā)者來說就意味著大量的軟件移植工作。因此一些平臺可能會選擇兼容CUDA，也就是CUDA加速的軟件可以跑在他的硬件上，不過實(shí)際的效率和性能表現(xiàn)，都有待觀察，這也是CUDA生態(tài)環(huán)境的強(qiáng)大之處。”張慧娟補(bǔ)充表示。
國內(nèi)頭部GPGPU廠商工程師劉默（化名）6月5日告訴記者：“經(jīng)過多年的建設(shè)，英偉達(dá)的CUDA已經(jīng)有400萬開發(fā)者，基本形成了壟斷態(tài)勢的生態(tài)壁壘，而軟件生態(tài)恰恰是下游客戶最為重視的產(chǎn)品競爭要素，這是英偉達(dá)相對于AMD、Intel以及其他初創(chuàng)企業(yè)的最大優(yōu)勢。”
既然CUDA如此重要，其他廠商可以提供自己的硬件，然后使用CUDA生態(tài)嗎？
在這個問題上，劉默認(rèn)為：“CUDA是一個完全封閉的系統(tǒng)，目前可以真正兼容CUDA，或者說叫使用CUDA的企業(yè)（除英偉達(dá)自身外）就AMD一家，AMD和英偉達(dá)之間有相關(guān)的IP授權(quán)，這樣英偉達(dá)的MI系列GPGPU可以使用CUDA。但其他初創(chuàng)企業(yè)都不能直接使用CUDA。目前初創(chuàng)企業(yè)有兩種思路，第一種往往是AMD系出來創(chuàng)業(yè)的企業(yè)，由于其芯片架構(gòu)類似AMD的產(chǎn)品，因此硬件條件上可以直接使用CUDA，但由于IP的問題，對方會在CUDA的基礎(chǔ)上微調(diào)出自己的軟件棧，這種雖然便于用戶從CUDA環(huán)境遷移過去，但存在IP的風(fēng)險；第二種就是完全原創(chuàng)的軟件棧，這種最大的問題就是客戶存在一定的遷移成本，對商業(yè)落地產(chǎn)生負(fù)面影響。”
電子創(chuàng)新網(wǎng)CEO張國斌也對記者表示：“讓NVIDIA自己開放CUDA硬件，以便其他廠商將CUDA集成到自己的芯片中，并運(yùn)行自己為CUDA開發(fā)的軟件，這種可能性是沒有的，黃仁勛已經(jīng)徹底否定了，畢竟CUDA在這方面是領(lǐng)先對手的，NVIDIA不可能將自己的優(yōu)勢開放給其他廠商甚至對手。”
跑吧！無論如何都要保持奔跑
在演講中，黃仁勛寄語學(xué)子：“你們即將進(jìn)入一個正在經(jīng)歷巨大變革的世界，就像我畢業(yè)時遇到個人電腦和芯片革命時一樣，你們正處于AI的起跑線上。每個行業(yè)都將被革命、重生，為新思想做好準(zhǔn)備。不論是為了食物而奔跑，或不被他人當(dāng)做食物而奔跑。你往往無法知道自己正處在哪一種情況，但無論如何，都要保持奔跑。”
李國強(qiáng)表示：“英偉達(dá)很早就開始進(jìn)入GPU的研發(fā)，且長期專注于GPU。在AI領(lǐng)域，需要的是高算力并行計(jì)算，最適合的就是GPU。（英偉達(dá)）核心產(chǎn)品還是GPU，別的東西也有嘗試，后來都是慢慢退出。”
此外，英偉達(dá)所建立的優(yōu)勢，并不局限于CUDA生態(tài)，還有硬件架構(gòu)與制程。張慧娟表示：“對于所有芯片而言，硬件架構(gòu)是基礎(chǔ)，它就像房子的框架。比如H100，就采用最新一代Hopper架構(gòu)，該架構(gòu)針對大模型就有一些跨單元的協(xié)同計(jì)算，擁有更好的加速能力。其最新推出的GH200，則屬于異構(gòu)集成架構(gòu)，它采用英偉達(dá)自己的Grace CPU和H100 GPU，在CPU和GPU中間采取自己的NVLink互連技術(shù)。這樣的架構(gòu)解決了很多數(shù)據(jù)傳輸?shù)钠款i，把CPU與GPU之間的帶寬大大提高了。”
這兩款產(chǎn)品，是英偉達(dá)即將推出的新品。目前全球大模型訓(xùn)練，使用最多的仍是英偉達(dá)A100。張慧娟認(rèn)為：“A100采用的還是上一代的安倍架構(gòu)，這個架構(gòu)也針對AI提升了它的計(jì)算性能吞吐量，包括更大的內(nèi)存、更高的帶寬，這些對于大規(guī)模計(jì)算都是必不可少的。我們只是看了最新兩代的架構(gòu)，再往前看，英偉達(dá)從面向游戲，到面向高性能計(jì)算，一代一代架構(gòu)演進(jìn)，這對它來講是非常重要的。”
來源：每經(jīng)記者 朱成祥 作圖
英特爾曾施行Tick-Tock（一年升級制程、一年升級）策略，后因制程長期卡在10納米而難以推行。而英偉達(dá)，從2008年推出特斯拉架構(gòu)，到2022年推出Hopper架構(gòu)，一共推出9代架構(gòu)，甚至不到兩年就推出一代架構(gòu)。此外，由于跟臺積電的密切合作，英偉達(dá)使用的制程一直是最先進(jìn)的。
頭豹研究院TMT行業(yè)高級分析師陳文廣告訴記者：“H100 采用了臺積電 4nm 工藝，集成了 800 億個晶體管，比上一代A100足足多了260億個，是目前全球范圍內(nèi)最大的加速器；其CUDA核心數(shù)量則飆升到了前所未有的16896個，達(dá)到A100的2.5倍。浮點(diǎn)計(jì)算和張量核心運(yùn)算能力也隨之翻了至少3倍，比如FP32就達(dá)到了達(dá)到60萬億次/秒。更重要的是，H100面向AI計(jì)算，針對Transformer搭載了優(yōu)化引擎，使大模型訓(xùn)練速度直接提升了6倍以上。這意味著，無論是訓(xùn)練1750億參數(shù)的GPT-3 ，還是3950億參數(shù)的Transformer大模型，H100都能將訓(xùn)練時間從之前的一周縮短到1天之內(nèi)。這些突破性的技術(shù)創(chuàng)新幫助英偉達(dá)保持在高端芯片市場的絕對領(lǐng)導(dǎo)地位。”
或許，就如同黃仁勛所言，英偉達(dá)“一直在奔跑”。其對學(xué)子們表示：“無論是什么，像我們一樣全力以赴去追求它，跑吧！不要慢慢走。”
是的，跑吧！不要慢慢走。正是在不斷奔跑中，英偉達(dá)逐步站上全球芯片之巔。在GPU領(lǐng)域，曾經(jīng)的王者3DX、ATI陸續(xù)被收購，唯有英偉達(dá)屹立不倒。在GPU軟件生態(tài)中，也涌現(xiàn)出微軟DirectX、ATI Stream，但在這場長跑中，勝者屬于CUDA。
而專注，或許是英偉達(dá)能從長跑中勝出的原因。微軟的重心不在GPU軟件生態(tài)，ATI被AMD收購之后，AMD也更傾向于CPU與GPU的異構(gòu)協(xié)同。軟件是這樣，硬件同樣如此。在李國強(qiáng)看來，英特爾、AMD都是橫跨CPU、GPU和FPGA的龍頭，而英偉達(dá)長期專注GPU。
誰能撼動英偉達(dá)？
長期專注、不斷奔跑，奠基了英偉達(dá)芯片帝國的霸業(yè)。而在異構(gòu)計(jì)算大潮下，英偉達(dá)也布局多類型芯片。比如前文提及的GH200，就融合了英偉達(dá)基于ARM架構(gòu)的CPU和自身GPU。除此之下，英偉達(dá)還通過收購，推出DPU產(chǎn)品。
2020年上半年，英偉達(dá)以69億美元對價收購以色列網(wǎng)絡(luò)芯片公司Mellanox Technologies，并于同年推出BlueField-2 DPU，將其定義為繼CPU、GPU之后的“第三顆主力芯片”。
CPU、GPU人們已經(jīng)比較熟悉，DPU又是做什么的？據(jù)英偉達(dá)官網(wǎng)，DPU是一個用于數(shù)據(jù)中心基礎(chǔ)設(shè)施的先進(jìn)計(jì)算平臺，可大規(guī)模提供加速的軟件定義網(wǎng)絡(luò)、存儲、安全和管理服務(wù)。
張慧娟向記者解釋：“隨著數(shù)據(jù)量越來越大，使用傳統(tǒng)的CPU處理已經(jīng)跟不上數(shù)據(jù)的爆發(fā)。尤其是短視頻、視覺類應(yīng)用，數(shù)據(jù)量是爆炸式、指數(shù)級增長的，DPU應(yīng)運(yùn)而生。此前，一些FPGA廠商也在進(jìn)行這方面的探索，自英偉達(dá)收購了這家DPU公司之后，DPU這個市場被迅速帶火了，AMD（2022年斥資19億美元）收購DPU芯片廠商Pensando，國內(nèi)也涌現(xiàn)出好幾家DPU創(chuàng)業(yè)公司。”
在這輪“第三顆主力芯片”大潮中，英偉達(dá)也在構(gòu)建自身的軟件生態(tài)，其于2021年推出DOCA。
何為DOCA？英偉達(dá)簡單直接地解釋道：“DOCA之于DPU，正如CUDA之于GPU。”
“如果說CUDA是GPU的靈魂，那么DOCA就是DPU的靈魂。因?yàn)樾酒绻麤]有好用的軟件配合，就是一個（干巴巴的）硬件。就如同手機(jī)，假如沒有豐富的APP，可能就只能打電話。正是因?yàn)橛辛塑浖岄_發(fā)者開發(fā)出各種各樣的應(yīng)用，硬件的應(yīng)用才如此豐富。”張慧娟表示。
通過硬件架構(gòu)和軟件生態(tài)，英偉達(dá)已經(jīng)在GPU領(lǐng)域構(gòu)建強(qiáng)大的壁壘。在DPU領(lǐng)域，英偉達(dá)似乎也要如法炮制。
誰能撼動英偉達(dá)的地位呢？目前可能還沒有。“除非英偉達(dá)自己出現(xiàn)重大失誤，但是這樣的可能性很校”張國斌表示。
劉默認(rèn)為：“AMD的MI300是目前從硬件水平和軟件生態(tài)上最接近H100的產(chǎn)品，無論是國外的初創(chuàng)公司例如Graphcore，還是國內(nèi)的幾家企業(yè)，目前還沒有能夠替代英偉達(dá)H100的產(chǎn)品。此外，英偉達(dá)依靠其巨大的出貨量以及在芯片制造上的投入，已經(jīng)和臺積電形成了緊密的合作，而非簡單的客戶與供貨商關(guān)系。比如H100使用的4nm制程，就是英偉達(dá)和臺積電在公版5nm制程的基礎(chǔ)上進(jìn)行優(yōu)化后的特制版本。”
曾經(jīng)在桌面CPU領(lǐng)域，英特爾也是一騎絕塵。因?yàn)轭I(lǐng)先太多，還有“i3默秒全”的說法，即i3在默認(rèn)頻率下就能秒AMD全系列。然而AMD在蘇姿豐的帶領(lǐng)下，如今已成功與英特爾平分秋色。
AMD還能在GPU領(lǐng)域上演奇跡嗎？李國強(qiáng)認(rèn)為：“確實(shí)存在這種可能。但英特爾之所以會被AMD趕上來，根本性原因在于其在晶圓制造技術(shù)上。當(dāng)時英特爾在10納米節(jié)點(diǎn)停滯了，但AMD是Fabless模式，通過與臺積電合作才翻身。而英偉達(dá)本身就和臺積電密切合作。”
一直在奔跑的英偉達(dá)，一直在奔跑的黃仁勛，誰又能顛覆呢？
每日經(jīng)濟(jì)新聞
