劃重點
01英偉達創(chuàng)始人黃仁勛表示，AI數據中心有望擴展到一百萬芯片，沒有任何物理定律可以阻止。
02他提出超級摩爾定律，將每年性能提升兩到三倍，使成本和能耗每年降低兩到三倍。
03黃仁勛認為，AI芯片設計和英偉達的運作方式將引領計算行業(yè)的變革。
04此外，他預測未來將擁有各種大小的模型，從巨型到小型，各種模型將在特定任務上表現出色。
05最后，黃仁勛強調，英偉達將繼續(xù)投資人工智能和數據中心領域，以應對未來的挑戰(zhàn)。
以上內容由大模型生成，僅供參考
夢晨 發(fā)自 凹非寺量子位 | 公眾號 QbitAI
英偉達市值重回第一之際，黃仁勛再次接受采訪。
除了談自己和英偉達，還吹了一波馬斯克，再再再次贊賞xAI只花19天建起10萬卡H100超級集群。
傳聞英偉達正在考慮投資xAI，或許此言不虛。
在這場訪談中他提出，沒有任何物理定律可以阻止AI數據中心擴展到一百萬芯片。
這很難，但重新發(fā)明智能的回報太大，無法不去嘗試。
為此他還提出了超級摩爾定律，從每兩年性能翻倍，變成每年翻兩到三倍。
并指路了具體實現途徑，軟硬件協(xié)同設計和數據中心級創(chuàng)新。
圍觀網友表示：很驚人，但更驚人的是我毫不懷疑他們真的能做到。
這是老黃第二次參加訪談節(jié)目No Priors，距離上次時隔一年。
在這場36分鐘的訪談中，老黃還透露了更多行業(yè)內幕和對未來的設想：
摩爾定律的兩個基本技術支柱已經遇到瓶頸
ChatGPT正在舊的訓練集群上做推理，英偉達基礎設施可以在訓練和推理中相互轉換
英偉達不直接把數據中心當產品銷售，但必須像對待產品一樣對待它
xAI迅速建起超級集群主要歸功于馬斯克的意志力和執(zhí)行力
英偉達內部高度依賴AI芯片設計，如果沒有AI，造不出Hopper架構
半導體行業(yè)并不是關于制造芯片，而是關于為社會構建基礎結構
AI智能體不會干掉SaaS，SaaS銷售專業(yè)智能體會帶來繁榮發(fā)展
兩三年后，每篇論文、每項科學和工程突破都會以AI
老黃現在每天學習任何東西都會先用AI，即使是最基礎的事實也會用AI反復核查
……
以下是采訪全文編譯整理。
英偉達未來十年的賭注主持人：
英偉達已經走過了30年，展望未來的十年，您認為還有哪些重要的賭注需要下？接下來是否只需擴大規(guī)模？在從現有架構中榨取更多計算和內存方面，我們是否遇到了限制？您目前的關注重點是什么？
黃仁勛：
如果退一步思考我們所取得的成就，我們已經從編程走向了機器學習，從編寫軟件工具到創(chuàng)建一個全新的生態(tài)系統(tǒng)。
所有這些最初都運行在為人類編程設計的CPU上，如今則運行在為AI編程設計的GPU上，主要是機器學習。
世界已經改變，我們進行計算的方式、整個技術棧都發(fā)生了變化。
我們能夠解決的問題的規(guī)模也發(fā)生了巨大變化，如果你能在一塊GPU上并行化你的軟件，你就為在整個集群、甚至多個集群或數據中心上并行化奠定了基礎。
我認為，我們已經為將計算擴展到無人想象過的水平做好了準備，并在這個水平上開發(fā)軟件。
接下來的十年里，我們希望每年在整體規(guī)模上（而非單個芯片上）將性能提升兩到三倍，從而使成本和能耗每年降低兩到三倍。
當你每年都翻倍或三倍增長，幾年下來，這種復合增長會非常驚人。
我們能超越人們對摩爾定律的理解，即每兩年性能翻倍，我們將進入某種“超級摩爾定律”的曲線。
如何超越摩爾定律主持人：
你認為是什么讓這一切比摩爾定律發(fā)生得更快？我知道摩爾定律有點自我實現的性質，先提出了這個想法，然后人們努力去實現它。
黃仁勛：
（摩爾定律）有兩個基本的技術支柱。一個是Dennard Scaling，另一個是Carver Mead’s VLSI Scaling。
這些都是嚴格的方法，但相關技術確實已經到了瓶頸。因此，我們現在需要一種新的擴展方式。
首先，新的縮放方式顯然涉及到（軟硬件）協(xié)同設計。
除非你能修改或改變算法以反映系統(tǒng)的架構，或者改變系統(tǒng)以適應新軟件的架構，來回迭代，否則你毫無希望。
但如果你能同時控制這兩方面，你就可以做一些事情，比如從FP64到FP32，再到BFLOAT，再到FP8，甚至FP4，甚至更小的精度。
所以我認為，協(xié)同設計是其中非常重要的一部分。
第二部分，我們稱之為全棧優(yōu)化，是數據中心級別的創(chuàng)新。
我們現在處理的大多數計算挑戰(zhàn)，其中一個最令人興奮的當然是推理時間的擴展，基本上是以極低的延遲生成token，進行樹搜索，鏈式思維，可能在腦海中進行一些模擬，反思自己的答案。
AI將自我提示，默默地生成文本，并希望在一秒鐘內做出響應。唯一能做到這一點的方法是你的延遲極低。
與此同時，數據中心仍然需要產生高吞吐量的token，因為你仍然希望降低成本，保持高吞吐量，實現回報。
這兩個基本要求低延遲和高吞吐量是彼此矛盾的。
為了創(chuàng)造在兩者上都非常出色的東西，我們必須去發(fā)明一些新東西，NVLink正是我們實現這一目標的方式�！�
訓練和推理基礎設施的相互轉換主持人：
您的大客戶中，有多少人在考慮基礎設施在大規(guī)模訓練和推理之間的相互轉換？
黃仁勛：
現在的基礎設施是解耦的。
Sam（Altman）剛剛告訴我，他最近退役了Volta。他們有Pascal，有Ampere，各種不同配置的Blackwell即將到來。
有些是為風冷優(yōu)化的，有些是為液冷優(yōu)化的，你的服務需要利用所有這些。
英偉達的優(yōu)勢在于，今天為訓練構建的基礎設施，明天將非常適合用于推理。我相信，大部分的ChatGPT服務都是在最近用于訓練的同類型系統(tǒng)上進行推理的。
如果你能在上面訓練，你就能在上面推理。
你完全有信心這些投資會得到回報，然后投入新的基礎設施來擴大規(guī)模。
而且英偉達和整個生態(tài)系統(tǒng)將致力于改進算法，使你的基礎設施在短短一年內性能提高五倍，這種進展永遠不會改變。
因此，人們將這樣看待他們的基礎設施：
是的，盡管今天為訓練而構建它，同時會知道它將在推理方面也會非常出色。
而推理將是多尺度的。
首先，為了蒸餾出更小的模型，擁有一個更大的模型作為源頭是很好的。因此，你仍然會創(chuàng)造這些令人難以置信的前沿模型，它們將用于開創(chuàng)性的工作，用來生成合成數據，用大模型來教授小模型，蒸餾出更小的模型。
但最終，你會有從巨型到小型的各種模型。小型模型將在特定任務上非常有效，雖然泛化能力不如大模型，但在那個任務上表現非常出色。我們將在一個小小的領域中看到超越人類的任務，由一個小小的模型完成。也許這不是一個小語言模型，而是一個微型語言模型，Tiny Language Model，或者其他什么。
所以我認為我們會看到各種大小的模型，我們的希望是，就像今天的軟件一樣。
構建和交付完整的數據中心主持人：
英偉達為客戶提供的支持正在像更大的規(guī)模發(fā)展，從單個芯片到服務器，再到機架，再到NV72，您如何看待這一進程？接下來會是什么？英偉達是否應該做整個數據中心？
黃仁勛：
事實上，我們確實構建了完整的數據中心。
我們的做事方式是，如果你要開發(fā)軟件，你需要完整形式的計算機。我們不會只做幻燈片演示然后交付芯片，我們構建整個數據中心。
在完成整個數據中心之前，你怎么知道軟件是否正常工作？在整個數據中心建成之前，你怎么知道你的網絡是否正常工作，以及你期望的效率是否達到了？
這就是為什么通常看到某些產品的實際性能遠低于他們在幻燈片上展示的峰值性能的原因。
計算已經不像過去那樣。我常說，新的計算單位是數據中心。
對于我們來說，這就是你必須交付的東西，這就是我們現在構建的東西，我們構建整個系統(tǒng)，并且以完整的形式構建它。
然后以各種組合進行測試，風冷的x86，液冷的Grace，以太網，Infiniband，加上NVLink，不加NVLink，等等。
我們構建每一種配置，我們公司現在有五臺超級計算機，明年我們很容易再建五臺。
如果你對軟件很認真，你就會構建自己的計算機，并且我們以“數據中心即產品”的方式構建它們。
盡管我們不直接銷售數據中心作為產品，但我們必須像對待產品一樣對待它。
關于它的規(guī)劃、建立、優(yōu)化、調整、保持運行的一切，目標是讓它像打開你的嶄新iPhone一樣，一切都能正常工作。
當然，這背后有技術的奇跡，但我們現在有能力做到這一點。
因此，如果你對數據中心感興趣，只需要給我一個空間，一些電力和冷卻系統(tǒng)，我們將在30天內幫助你建立起來。這是非常了不起的。
xAI的超級集群主持人：
最近有一個令人印象深刻的案例，就是你們?yōu)閤AI迅速建立了一個集群。如果你愿意，請談談這個案例，因為無論是規(guī)模還是速度都令人震驚。
黃仁勛：
很多功勞要歸功于馬斯克。
首先，決定去做這件事，選擇場地，引入冷卻和電力，然后決定建立一個擁有10萬個GPU的超級集群，這是有史以來最大的規(guī)模。
然后倒推日程，我們一起規(guī)劃他要啟動系統(tǒng)的日期，這個日期是在幾個月前確定的。
所有的組件、OEM、系統(tǒng)、我們與他們團隊的軟件集成、所有的網絡模擬，我們都預先以數字孿生的方式模擬了他的網絡配置。我們預先準備了他的供應鏈，預先安排了所有的網絡布線。我們甚至建立了一個小規(guī)模的版本作為參考，以便在所有設備到達之前進行測試。
到所有設備到達的時候，一切都已經準備就緒，所有的練習都完成了，所有的模擬都完成了，然后是大規(guī)模的集成，龐大的團隊在一起晝夜不停地工作，幾周內集群就啟動了。
這真的是他（馬斯克）的意志力和他能夠思考機械、電氣問題并克服巨大障礙的證明。
主持人：
如果你展望未來，達到20萬、50萬、100萬的超級集群，您認為最大的障礙是什么？資本、能源、供應？
黃仁勛：
你剛才提到的這些因素，沒有一件是輕松的。
是否值得追求這樣的規(guī)模擴展？毋庸置疑是值得的。
要達到我們想象中的那種計算機，能夠輕松地完成我們要求它做的事情，具有某種通用智能。甚至我們可以爭論它是否真的具有通用智能，但即使接近它也是一個奇跡。
我認為有五到六個團隊在努力嘗試實現這一目標，有OpenAI、Anthropic、xAI，當然還有谷歌、Meta、微軟等公司。
這個前沿領域，在攀登這座山峰的過程中，接下來的幾步是至關重要的。誰不想成為登上這座山峰的第一人？
我認為，重新發(fā)明智能的獎賞太過重要，無法不去嘗試。
我認為，沒有物理定律的限制，但一切都會很難。
AI芯片設計和英偉達的運作方式主持人：
一年前，當我們一起交談時，我們問過您，英偉達在人工智能和其他領域中，您對哪些應用程序最感興趣，接下來將為客戶提供哪些服務，您談到了您最極端客戶的一些科學應用。
在過去的一年中，這已經成為更主流的觀點。人工智能在科學中的應用是否依然最令您興奮？
黃仁勛：
我很高興在英偉達有AI“芯片設計師”，有AI“軟件工程師”。
它們非常高效，如果沒有它們，我們無法構建Hopper。
它們與人類相比可以探索更大的空間，因為它們有無限的時間，它們在超級計算機上運行。我們的人類工程師時間有限，無法探索盡可能多的空間，也無法組合地探索空間。
我無法在自己探索的同時，涵蓋你的探索和其他人的探索。
我們的芯片如此之大，它們并不是作為一個芯片設計的，而是像一千個芯片那樣設計的。我們必須分別優(yōu)化每一個。
你真的想要優(yōu)化更多的模塊，跨模塊協(xié)同設計，優(yōu)化更大的空間。
沒有人工智能，我們的工程師無法做到，我們沒有足夠的時間。
主持人：
自從我們上次交談以來，還有一件事發(fā)生了變化。我查了一下，當時英偉達的市值約為5000億美元，如今已超過3萬億美元。在過去的18個月里增加了2.5萬億美元的市值，相當于每月增加了1000多億美元。
今天早些時候我來到英偉達公司，感受到了公司的活力，就像15年前我在谷歌時一樣，能感受到公司的能量和興奮。
在這段時間里，有什么變化嗎？或者說，有什么不同之處，無論是英偉達的運作方式，還是您對世界的看法，或者您可以采取的賭注的規(guī)模？
黃仁勛：
公司無法像股價那樣快速變化，所以在很多方面，我們并沒有太大改變。
我認為，我們需要退一步，問問自己，我們在做什么？
從行業(yè)角度來看，我們重新發(fā)明了計算。它已經60年沒有被重新發(fā)明過了，這是一件多么重要的事情。
在過去的10年里，我們將計算的邊際成本降低了大約一百萬倍，以至于我們可以說，讓計算機去窮舉地編寫軟件吧。
某種程度上，我們可以說，我們也在芯片設計中說了同樣的話。我們希望計算機去發(fā)現一些我們自己無法做到的關于芯片的東西，探索我們的芯片，并以我們無法做到的方式優(yōu)化它。
因此，人們開始意識到，我們重新發(fā)明了計算。
但這究竟意味著什么？突然之間，我們創(chuàng)造了一個稱為“智能”的東西，那么計算發(fā)生了什么變化呢？
我們從數據中心開始。
數據中心是存儲文件的多租戶場所。而我們正在創(chuàng)建的新型數據中心并不是傳統(tǒng)的數據中心。它們不是多租戶的，往往是單租戶的。它們不存儲任何文件，只是在生成一些東西它們在生成tokens。
這些tokens被重新組合成看似智能的東西，而這種智能有各種不同的形式，可能是機器人的動作表達，可能是氨基酸的序列，可能是化學鏈，或者各種有趣的東西。
那么，我們究竟在做什么？我們創(chuàng)造了一種新工具，一種新的機器，在很多方面，它是“生成式人工智能”這個形容詞的名詞形式。
與其說是生成式人工智能，不如說是一個人工智能工廠。它是一個生成人工智能的工廠，而且我們正在以極大的規(guī)模來實現這一點。
人們開始意識到，這可能是一個新行業(yè)。它生成tokens，生成數字，但這些數字以相當有價值的方式組成。那么，哪些行業(yè)會從中受益？
然后，你再退一步，問自己英偉達在做什么。
一方面，我們重新發(fā)明了我們所知道的計算，因此有價值數萬億美元的基礎設施需要現代化，這是其中一層。
更大的層面是，我們正在構建的這個工具不僅僅是為了我們正在現代化的數據中心，而是用于生產一些新的商品。這個新商品行業(yè)能有多大？很難說，但可能價值數萬億美元。
所以，如果你退一步看，我們不再制造計算機了，我們在制造工廠。
每個地方都需要它，每個公司都需要它。你能舉出一個公司或行業(yè)說“你知道嗎，我們不需要生產智能，我們已經擁有足夠多了”嗎？
所以，我認為這是一個重大理念，這是一種抽象的產業(yè)視角。
有一天，人們會意識到，在很多方面，半導體行業(yè)并不是關于制造芯片，而是關于為社會構建基礎結構。然后，突然之間，大家都會說：“啊，我明白了，這是件大事。”
具身智能主持人：
您現在如何看待“具身化”？
黃仁勛：
我非常興奮的一點是，在很多方面，我們接近于人工通用智能，但我們也接近于人工通用機器人。token就是token，問題是你能否將其token化。
當然，正如你們所知，token化并不容易。但如果你能夠將事物token化，與大型語言模型和其他模態(tài)對齊，假如可以生成一個視頻，內容是我伸手去拿咖啡杯，為什么我不能提示機器人生成能夠拿起咖啡杯的token呢？
直覺上，你會認為對于計算機來說，問題陳述是相當相似的。所以，我認為我們非常接近了，這令人難以置信的興奮。
現在，有兩個“棕地”（Brownfield）機器人系統(tǒng)“棕地”意味著你不需要改變環(huán)境即自動駕駛汽車和具身機器人。
通過汽車和人形機器人，我們實際上可以在不改變世界的情況下將機器人帶到世界上，因為我們已經為這兩樣東西構建了世界。
也許馬斯克專注于這兩種形式的機器人并非巧合，因為它們可能具有巨大的潛在規(guī)模。
所以，我認為這是令人興奮的，但其數字版本同樣令人興奮。
我們正在談論的是數字員工或AI員工。毫無疑問，我們將擁有各種各樣的AI員工。未來將擁有生物智能和人工智能，我們以相同的方式去提示（Prompt）它們。
我大多數時候都是提示我的員工，向他們提供背景，要求他們執(zhí)行任務，他們會去招募其他團隊成員，然后回來，我們來回溝通。這與各種AI員工有何不同呢？
所以，我們將擁有人工智能營銷人員、人工智能芯片設計師、人工智能供應鏈人員等等。
我希望有一天，英偉達在生物智能層面上變得更大，但在人工智能層面上變得大得多。這是我們未來的公司。
主持人：
如果我們一年后再來和您交談，您認為公司哪個部分最具人工智能化？
黃仁勛：
我希望是芯片設計，這是最重要的部分。因為它對我們的影響最大，也是我們可以產生最大影響力的地方，這是一個極其困難的問題。
我們與Synopsys和Cadence合作。我完全可以想象他們擁有AI芯片設計師給我租用，他們對特定的模塊有所了解，熟練使用特定的工具，我們將根據需要雇傭一大批他們的人工智能設計師，在芯片設計的對應階段幫助我們。
也許我會租用一百萬個Synopsys的工程師來幫助我，然后再租用一百萬個Cadence的工程師來幫助我。對他們來說，這是一個多么令人興奮的未來，他們擁有所有這些智能體，在他們的工具平臺之上并與其他平臺協(xié)作。
你也會在SAP和ServiceNow那里這樣做。人們說這些SaaS平臺將被顛覆，我實際上認為相反，他們正坐在金礦上，如Salesforce、SAP等將因專業(yè)智能體繁榮發(fā)展。
Salesforce有Lightning，SAP有ABAP，每個人都有自己的語言，對嗎？我們有CUDA，還有用于Omniverse的OpenUSD。
誰會創(chuàng)建一個在OpenUSD上非常出色AI智能體？我們會，因為沒有人比我們更關心它。
因此，我認為在很多方面，這些平臺將涌現出大量的智能體，我們將把它們彼此引介，它們將協(xié)同合作，解決問題。
AI for Science主持人：
您看到有許多人在人工智能的各個領域工作，您認為有哪些被低估的領域，或者您希望更多的企業(yè)家、工程師或商業(yè)人士參與哪些方面的工作？
黃仁勛：
首先，我認為被誤解和低估的是在水面之下的活動，即在人工智能和機器學習影響下的突破性科學、計算機科學和工程學。
我認為，你無法走進任何一個科學系、理論數學系，而不看到人工智能和機器學習，以及我們今天所談論的這些工作將如何在明天帶來變革。
如果你把世界上的所有工程師、所有科學家聚在一起，并且你認為他們今天的工作方式是未來的早期跡象，那么你將在短時間內看到人工智能的海嘯，機器學習的海嘯，改變我們所做的一切。
請記住，我看到了計算機視覺的早期跡象，看到Alex、Ilya和Hinton的工作（AlexNet），看到Yann LeCun，當然還有斯坦福的吳恩達。
我們很幸運地從貓的視覺推斷出了計算機科學和計算的深刻變革，這樣的推斷對我們來說是幸運的。
現在我們被它所激勵，以至于改變了我們所有的做事方式。
但這花了多長時間？從觀察到那個玩具般的AlexNet，按今天的標準它被認為是一個玩具，到在物體識別方面達到超越人類的能力，只用了幾年時間。
現在正在發(fā)生的是所有科學領域變革的浪潮，沒有一個科學領域被落下。
我想非常明確地說，從量子計算到量子化學，所有科學領域都參與了我們正在討論的（AI協(xié)作）方法。
如果我們再給自己兩三年時間，世界將會改變，將不會有一篇論文、一項科學或工程突破，其基礎不是生成式人工智能。我現在非常確定這一點。
對于很多關于這是否是曇花一現的問題，你只需要回到第一原理，觀察實際發(fā)生的事情。
計算堆棧，也就是我們進行計算的方式，已經改變。編寫軟件的方式已經改變，這是非常核心的東西。
軟件是人類編碼知識的方式，這是我們編碼算法的方式。我們現在以非常不同的方式編碼它，這將影響一切，其他任何東西都將不同于以往。
所以，我認為，我是在和已經理解這一點的人交談，我們都看到了同樣的事情。
你們所合作的所有初創(chuàng)公司，我所合作的科學家和工程師，沒有人會被落下。
我們將帶著所有人一起前進。
黃仁勛每天都在用AI黃仁勛：
我自己每天都在使用AI，我不知道你們怎么樣，但AI現在是我的導師。
我學習任何東西都會先去找AI。
為什么要用困難的方式去學習呢？直接去找AI，直接去找ChatGPT，或者有時我會用Perplexity，這取決于我問題的表述方式，我就從那里開始學習。然后，如果你愿意，你可以深入研究。
但天哪，這真是太棒了。幾乎所有我知道的東西，我都會再三確認。即使對于一個事實，我認為的基本真理，而且我是專家，我仍然會去找AI，檢查、再檢查。
這太棒了，現在我做幾乎所有的事情都涉及到AI。
One More Thing最新爆料，根據最近即將出版的張忠謀傳記，2013年左右臺積電曾詢問黃仁勛是否有興趣接任CEO，但老黃拒絕了。
10多年前，英偉達還不是像今天這樣的龐然大物。但剛剛推出Kepler架構GPU系列，新的Tegra系列移動芯片，以及Shield游戲機，并繼續(xù)進軍數據中心。
當時黃仁勛對英偉達未來充滿信心，宣布在公司現有總部以西建造一個更大的總部。
臺積電不得不選擇Plan B，從內部提拔兩名工程師高管并培養(yǎng)成商人，建立雙領導制，分別擔任董事長和CEO。作為對比，黃仁勛一直在英偉達同時擔任董事長兼CEO。
現在，黃仁勛對數據中心和人工智能的戰(zhàn)略愿景幫助英偉達成為全球市值最高的公司。
