剛剛，英偉達(dá)發(fā)布了目前世界最強(qiáng)的AI芯片H200，性能較H100提升了60%到90%，還能和H100兼容。算力荒下，大科技公司們又要開(kāi)始瘋狂囤貨了。
英偉達(dá)的節(jié)奏，越來(lái)越可怕了。
就在剛剛，老黃又一次在深夜炸場(chǎng)發(fā)布目前世界最強(qiáng)的AI芯片H200！
較前任霸主H100，H200的性能直接提升了60%到90%。
不僅如此，這兩款芯片還是互相兼容的。這意味著，使用H100訓(xùn)練/推理模型的企業(yè)，可以無(wú)縫更換成最新的H200。
全世界的AI公司都陷入算力荒，英偉達(dá)的GPU已經(jīng)千金難求。英偉達(dá)此前也表示，兩年一發(fā)布的架構(gòu)節(jié)奏將轉(zhuǎn)變?yōu)橐荒暌话l(fā)布。
就在英偉達(dá)宣布這一消息之際，AI公司們正為尋找更多H100而焦頭爛額。
英偉達(dá)的高端芯片價(jià)值連城，已經(jīng)成為貸款的抵押品。
誰(shuí)擁有H100，是硅谷最引人注目的頂級(jí)八卦
至于H200系統(tǒng)，英偉達(dá)表示預(yù)計(jì)將于明年二季度上市。
同在明年，英偉達(dá)還會(huì)發(fā)布基于Blackwell架構(gòu)的B100，并計(jì)劃在2024年將H100的產(chǎn)量增加兩倍，目標(biāo)是生產(chǎn)200多萬(wàn)塊H100。
而在發(fā)布會(huì)上，英偉達(dá)甚至全程沒(méi)有提任何競(jìng)爭(zhēng)對(duì)手，只是不斷強(qiáng)調(diào)「英偉達(dá)的AI超級(jí)計(jì)算平臺(tái)，能夠更快地解決世界上一些最重要的挑戰(zhàn)。」
隨著生成式AI的大爆炸，需求只會(huì)更大，而且，這還沒(méi)算上H200呢。贏麻了，老黃真的贏麻了！
141GB超大顯存，性能直接翻倍！
H200，將為全球領(lǐng)先的AI計(jì)算平臺(tái)增添動(dòng)力。
它基于Hopper架構(gòu)，配備英偉達(dá)H200 Tensor Core GPU和先進(jìn)的顯存，因此可以為生成式AI和高性能計(jì)算工作負(fù)載處理海量數(shù)據(jù)。
英偉達(dá)H200是首款采用HBM3e的GPU，擁有高達(dá)141GB的顯存。
與A100相比，H200的容量幾乎翻了一番，帶寬也增加了2.4倍。與H100相比，H200的帶寬則從3.35TB/s增加到了4.8TB/s。
英偉達(dá)大規(guī)模與高性能計(jì)算副總裁Ian Buck表示
要利用生成式人工智能和高性能計(jì)算應(yīng)用創(chuàng)造智能，必須使用大型、快速的GPU顯存，來(lái)高速高效地處理海量數(shù)據(jù)。借助H200，業(yè)界領(lǐng)先的端到端人工智能超算平臺(tái)的速度會(huì)變得更快，一些世界上最重要的挑戰(zhàn)，都可以被解決。
Llama 2推理速度提升近100%
跟前代架構(gòu)相比，Hopper架構(gòu)已經(jīng)實(shí)現(xiàn)了前所未有的性能飛躍，而H100持續(xù)的升級(jí)，和TensorRT-LLM強(qiáng)大的開(kāi)源庫(kù)，都在不斷提高性能標(biāo)準(zhǔn)。
H200的發(fā)布，讓性能飛躍又升了一級(jí)，直接讓Llama2 70B模型的推理速度比H100提高近一倍！
H200基于與H100相同的Hopper架構(gòu)。這就意味著，除了新的顯存功能外，H200還具有與H100相同的功能，例如Transformer Engine，它可以加速基于Transformer架構(gòu)的LLM和其他深度學(xué)習(xí)模型。
HGX H200采用英偉達(dá)NVLink和NVSwitch高速互連技術(shù)，8路HGX H200可提供超過(guò)32 Petaflops的FP8深度學(xué)習(xí)計(jì)算能力和1.1TB的超高顯存帶寬。
當(dāng)用H200代替H100，與英偉達(dá)Grace CPU搭配使用時(shí)，就組成了性能更加強(qiáng)勁的GH200 Grace Hopper超級(jí)芯片專(zhuān)為大型HPC和AI應(yīng)用而設(shè)計(jì)的計(jì)算模塊。
下面我們就來(lái)具體看看，相較于H100，H200的性能提升到底體現(xiàn)在哪些地方。
首先，H200的性能提升最主要體現(xiàn)在大模型的推理性能表現(xiàn)上。
如上所說(shuō)，在處理Llama 2等大語(yǔ)言模型時(shí)，H200的推理速度比H100提高了接近1倍。
因?yàn)橛?jì)算核心更新幅度不大，如果以訓(xùn)練175B大小的GPT-3為例，性能提升大概在10%左右。
顯存帶寬對(duì)于高性能計(jì)算（HPC）應(yīng)用程序至關(guān)重要，因?yàn)樗梢詫?shí)現(xiàn)更快的數(shù)據(jù)傳輸，減少?gòu)?fù)雜任務(wù)的處理瓶頸。
對(duì)于模擬、科學(xué)研究和人工智能等顯存密集型HPC應(yīng)用，H200更高的顯存帶寬可確保高效地訪問(wèn)和操作數(shù)據(jù)，與CPU相比，獲得結(jié)果的時(shí)間最多可加快110倍。
相較于H100，H200在處理高性能計(jì)算的應(yīng)用程序上也有20%以上的提升。
而對(duì)于用戶(hù)來(lái)說(shuō)非常重要的推理能耗，H200相比H100直接腰斬。
這樣，H200能大幅降低用戶(hù)的使用成本，繼續(xù)讓用戶(hù)「買(mǎi)的越多，省的越多」！
上個(gè)月，外媒SemiAnalysis曾曝出一份英偉達(dá)未來(lái)幾年的硬件路線圖，包括萬(wàn)眾矚目的H200、B100和「X100」GPU。
而英偉達(dá)官方，也公布了官方的產(chǎn)品路線圖，將使用同一構(gòu)架設(shè)計(jì)三款芯片，在明年和后年會(huì)繼續(xù)推出B100和X100。
B100，性能已經(jīng)望不到頭了
這次，英偉達(dá)更是在官方公告中宣布了全新的H200和B100，將過(guò)去數(shù)據(jù)中心芯片兩年一更新的速率直接翻倍。
以推理1750億參數(shù)的GPT-3為例，今年剛發(fā)布的H100是前代A100性能的11倍，明年即將上市的H200相對(duì)于H100則有超過(guò)60%的提升，而再之后的B100，性能更是望不到頭。
至此，H100也成為了目前在位最短的「旗艦級(jí)」GPU。
如果說(shuō)H100現(xiàn)在就是科技行業(yè)的「黃金」，那么英偉達(dá)又成功制造了「鉑金」和「鉆石」。
H200加持，新一代AI超算中心大批來(lái)襲
云服務(wù)方面，除了英偉達(dá)自己投資的CoreWeave、Lambda和Vultr之外，亞馬遜云科技、谷歌云、微軟Azure和甲骨文云基礎(chǔ)設(shè)施，都將成為首批部署基于H200實(shí)例的供應(yīng)商。
此外，在新的H200加持之下，GH200超級(jí)芯片也將為全球各地的超級(jí)計(jì)算中心提供總計(jì)約200 Exaflops的AI算力，用以推動(dòng)科學(xué)創(chuàng)新。
在SC23大會(huì)上，多家頂級(jí)超算中心紛紛宣布，即將使用GH200系統(tǒng)構(gòu)建自己的超級(jí)計(jì)算機(jī)。
德國(guó)尤里希超級(jí)計(jì)算中心將在超算JUPITER中使用GH200超級(jí)芯片。
這臺(tái)超級(jí)計(jì)算機(jī)將成為歐洲第一臺(tái)超大規(guī)模超級(jí)計(jì)算機(jī)，是歐洲高性能計(jì)算聯(lián)合項(xiàng)目（EuroHPC Joint Undertaking）的一部分。
Jupiter超級(jí)計(jì)算機(jī)基于Eviden的BullSequana XH3000，采用全液冷架構(gòu)。
它總共擁有24000個(gè)英偉達(dá)GH200 Grace Hopper超級(jí)芯片，通過(guò)Quantum-2 Infiniband互聯(lián)。
每個(gè)Grace CPU包含288個(gè)Neoverse內(nèi)核， Jupiter的CPU就有近700萬(wàn)個(gè)ARM核心。
它能提供93 Exaflops的低精度AI算力和1 Exaflop的高精度（FP64）算力。這臺(tái)超級(jí)計(jì)算機(jī)預(yù)計(jì)將于2024年安裝完畢。
由筑波大學(xué)和東京大學(xué)共同成立的日本先進(jìn)高性能計(jì)算聯(lián)合中心，將在下一代超級(jí)計(jì)算機(jī)中采用英偉達(dá)GH200 Grace Hopper超級(jí)芯片構(gòu)建。
作為世界最大超算中心之一的德克薩斯高級(jí)計(jì)算中心，也將采用英偉達(dá)的GH200構(gòu)建超級(jí)計(jì)算機(jī)Vista。
伊利諾伊大學(xué)香檳分校的美國(guó)國(guó)家超級(jí)計(jì)算應(yīng)用中心，將利用英偉達(dá)GH200超級(jí)芯片來(lái)構(gòu)建他們的超算DeltaAI，把AI計(jì)算能力提高兩倍。
此外，布里斯托大學(xué)將在英國(guó)政府的資助下，負(fù)責(zé)建造英國(guó)最強(qiáng)大的超級(jí)計(jì)算機(jī)Isambard-AI將配備5000多顆英偉達(dá)GH200超級(jí)芯片，提供21 Exaflops的AI計(jì)算能力。
英偉達(dá)、AMD、英特爾：三巨頭決戰(zhàn)AI芯片
GPU競(jìng)賽，也進(jìn)入了白熱化。
面對(duì)H200，而老對(duì)手AMD的計(jì)劃是，利用即將推出的大殺器Instinct MI300X來(lái)提升顯存性能。
MI300X將配備192GB的HBM3和5.2TB/s的顯存帶寬，這將使其在容量和帶寬上遠(yuǎn)超H200。
而英特爾也摩拳擦掌，計(jì)劃提升Gaudi AI芯片的HBM容量，并表示明年推出的第三代Gaudi AI芯片將從上一代的 96GB HBM2e增加到144GB。
英特爾Max系列目前的HBM2容量最高為128GB，英特爾計(jì)劃在未來(lái)幾代產(chǎn)品中，還要增加Max系列芯片的容量。
H200價(jià)格未知
所以，H200賣(mài)多少錢(qián)？英偉達(dá)暫時(shí)還未公布。
要知道，一塊H100的售價(jià)，在25000美元到40000美元之間。訓(xùn)練AI模型，至少需要數(shù)千塊。
此前，AI社區(qū)曾廣為流傳這張圖片《我們需要多少個(gè)GPU》。
GPT-4大約是在10000-25000塊A100上訓(xùn)練的；Meta需要大約21000塊A100；Stability AI用了大概5000塊A100；Falcon-40B的訓(xùn)練，用了384塊A100。
根據(jù)馬斯克的說(shuō)法，GPT-5可能需要30000-50000塊H100。摩根士丹利的說(shuō)法是25000個(gè)GPU。
Sam Altman否認(rèn)了在訓(xùn)練GPT-5，但卻提過(guò)「OpenAI的GPU嚴(yán)重短缺，使用我們產(chǎn)品的人越少越好」。
我們能知道的是，等到明年第二季度H200上市，屆時(shí)必將引發(fā)新的風(fēng)暴。
參考資料：
https://nvidianews.nvidia.com/news/nvidia-supercharges-hopper-the-worlds-leading-ai-computing-platform?ncid=so-twit-685372
