無論是模型還是應用，都離不開硬件廠商或云服務商，算力目前是最稀缺的資源，是大模型成本結構中最顯著的部分，GPU是訓練模型與加速推理的關鍵算力硬件，GPU的性能實際上決定了這個新興行業(yè)的步調(diào)。但長期來看，人才對人工智能未來的影響超過了算力。
巨頭忙于研發(fā)大模型，尚未顧及深度切入具體應用場景，這是初創(chuàng)企業(yè)的藍海，也有發(fā)展道路上的暗礁。 當前生成式AI市場處于技術主導的早期階段，存在千億美元市值的平臺性企業(yè)的機會。3年內(nèi)，顛覆式的AI應用的核心驅動力來自于底層模型的創(chuàng)新，模型的作用將大于產(chǎn)品設計的作用。
啟明創(chuàng)投合伙人周志峰。
7月7日，在2023世界人工智能大會啟明創(chuàng)投論壇“生成式AI與大模型：變革與創(chuàng)新”上，啟明創(chuàng)投聯(lián)合未盡研究發(fā)布《生成式AI》報告。在AI 2.0時代，經(jīng)過大規(guī)模數(shù)據(jù)預訓練得到的大模型可直接被下游各種任務使用，無論是模型還是應用，都離不開硬件廠商或云服務商，算力目前是最稀缺的資源，GPU（圖形處理器）是訓練模型與加速推理的關鍵算力硬件。但長期來看，人才對人工智能未來的影響超過了算力。
報告認為，當前生成式AI市場處于技術主導的早期階段，存在千億美元市值的平臺性企業(yè)的機會。3年內(nèi)，顛覆式的AI應用的核心驅動力來自于底層模型的創(chuàng)新，模型的作用將大于產(chǎn)品設計的作用。
啟明創(chuàng)投合伙人周志峰表示，人類科學技術的進步在不斷加速，就像海洋上一浪推一浪，頻率越來越高，浪越來越多。我們處在生成式AI發(fā)展的早期，未來的發(fā)展速度會非�？欤魏我粋�偉大的科技趨勢出現(xiàn)時，都會摻雜泡沫，希望大家能夠忽略產(chǎn)業(yè)周期，忽略噪音和泡沫，踏踏實實埋頭做事，才能推動AI向前發(fā)展。
算力是最稀缺資源，理論上大模型訓練成本隨時間推移而下降
人工智能的發(fā)展已經(jīng)走過70多年時間。報告顯示，四代底層技術的進步推動了四波人工智能的發(fā)展。第一波小規(guī)模專家知識用了40年走完；第二波淺層機器學習用了20年走完；第三波深度學習用了8-10年走完，并取得一定成就。最近這一波AI新浪潮，以2017年基于Transformer的預訓練模型為起點，并在2020年GPT-3大模型發(fā)布后突破技術奇點。
報告提出了AI 1.0時代和AI 2.0時代。在AI 1.0時代，需要針對特定任務，利用相關數(shù)據(jù)研發(fā)特定模型，任務和模型耦合。AI 2.0時代，經(jīng)過大規(guī)模數(shù)據(jù)預訓練得到的大模型，帶來了好的效果和泛化能力，可以直接被下游各種任務使用。
AI 2.0時代里的公司將分為三層：一是基礎設施層，主要是解決大模型訓練/推理/部署的工具鏈廠商和提供GPU資源的智算中心，智算中心再往下是新一代AI芯片或下一代通用GPU。二是模型層，主要是研發(fā)大模型并對外提供AI模型服務或者API（應用程序編程接口）服務，包括訓練和推理時需要的GPU資源。除了這類底座大模型，也包括提供針對特定行業(yè)或場景的垂直模型的公司。三是應用層，即專注于解決某個特定領域的應用公司，包括自研大模型的應用公司和利用第三方大模型的應用公司。
新的應用要有新的基礎設施。AI 2.0的基礎設施是以提供智能算力為中心的智算中心。無論是模型還是應用，都離不開硬件廠商或云服務商，算力目前是最稀缺的資源，也處于最容易獲利的要津，是大模型成本結構中最顯著的部分，GPU是訓練模型與加速推理的關鍵算力硬件，GPU的性能實際上決定了這個新興行業(yè)的步調(diào)。報告顯示，訓練一次類似GPT-3的大模型，即1750億參數(shù)規(guī)模、3000 億token， 需要3.15*10^23FLOP的算力需求。如果只用1片英偉達V100芯片，在FP16精度的28TFLOP的理論算力下，需要訓練357年；要縮短訓練時間，就要增加硬件投入，但算力使用效率就會下降。 如果只用1片F(xiàn)P16精度下理論算力312TFLOP的英偉達A100芯片來重新訓練一次GPT-3，則需32年。報告提到，理論上隨著硬件性能提升、軟件優(yōu)化程度提高等，大模型訓練成本會隨時間推移而下降。
生成式AI密切結合研究與創(chuàng)新，通往AGI的路上要研究的問題更多了
隨著算力與模型的進步，更多初創(chuàng)企業(yè)正在涌入，面臨著競爭和可能的巨頭碾壓。但競爭促進了創(chuàng)新，與2022年快速涌現(xiàn)出的生產(chǎn)力工具方向的創(chuàng)業(yè)公司不同，2023年，有更多比例的新公司聚焦在底層技術的創(chuàng)新。大模型創(chuàng)業(yè)公司也開始分化，在通用大模型創(chuàng)業(yè)公司方興未艾的同時，面向醫(yī)療、電商、科研、工業(yè)、自動駕駛和機器人等特定方向的垂直大模型公司開始出現(xiàn)。
報告認為，現(xiàn)在仍是AI 2.0的早期，基礎架構和核心技術并不是特別成熟；巨頭忙于研發(fā)大模型，尚未顧及深度切入具體應用場景。這是初創(chuàng)企業(yè)的藍海，也有發(fā)展道路上的暗礁。 當前生成式AI市場處于技術主導的早期階段，存在千億美元市值的平臺性企業(yè)的機會。3年內(nèi)，顛覆式的AI應用的核心驅動力來自于底層模型的創(chuàng)新，兩者無法解耦，模型的作用將大于產(chǎn)品設計的作用。
在前沿研究領域，2022年和2023年是生成式人工智能技術取得突破的兩年，報告梳理論文發(fā)現(xiàn)，生成式人工智能領域的一個突出特征是研究與創(chuàng)新過程的密切結合，許多在企業(yè)內(nèi)部實現(xiàn)，迅速推出產(chǎn)品。從GPT-4的技術報告到微軟的研究論文，都展示出大模型所具有的接近于人類的文字處理能力、數(shù)學推理能力等，但在通往通用人工智能（AGI）的路上，需要研究和解決的問題反而更多了，如信心校準、長期記憶、持續(xù)學習、個性化、規(guī)劃和概念跨越、透明度、認知謬誤和非理性等。過去半年最重要的研究方向是破解和理解大模型神秘而又令人興奮的智能“涌現(xiàn)”，大模型既需要超越對下一個詞的預測能力，也需要一個更豐富復雜的“慢思考”深層機制，來監(jiān)督“快思考”預測下一個詞的機制。
報告顯示，最好的前沿研究一定是研究和解決技術規(guī)模應用中遇到的問題，如研究如何減少幻覺，調(diào)教大模型更加準確地輸出真實內(nèi)容，訓練出更強的推理能力；如何更集約地訓練模型，降低門檻，推出新產(chǎn)品，讓各行各業(yè)和消費者都能用上；如何能像人一樣與真實的物理世界互動；如何成為人類復雜工作的助手，設計并幫助執(zhí)行科學實驗；如何影響就業(yè)，從而做出政策的響應；如何讓人工智能安全和可信。
長期來看，人才對人工智能未來的影響超過了算力。中國研究人員發(fā)布的論文在數(shù)量上已經(jīng)超過了美國，但金字塔頂端，無論是研究還是創(chuàng)業(yè)，美國仍然占據(jù)明顯優(yōu)勢。在全球范圍內(nèi)，人工智能研究創(chuàng)新的重心正從高校轉移至企業(yè)，美國擁有頂尖學者最多的前三大機構分別是谷歌、微軟與Meta，合計招攬了美國頂級學者的30%，中國仍以高校為主。
