作者：王昕 來源：IT時報
近日，高通發(fā)布了《混合AI是AI的未來》白皮書。白皮書中闡釋的基本觀點是：隨著生成式AI正以前所未有的速度發(fā)展以及計算需求的日益增長，AI處理必須分布在云端和終端進行，才能實現(xiàn)AI的規(guī)�；瘮U展并發(fā)揮其最大潛能。
作為終端側(cè)AI領導者，高通代表的是，包括手機、汽車、XR頭顯與眼鏡、PC和物聯(lián)網(wǎng)等在內(nèi)的數(shù)十億邊緣終端，未來該如何更泛在化地應用和實踐AI。
如果AI將變得無處不在，那么高通認為混合AI是必然趨勢，終端AI和云端AI的融合將是未來最主流的場景，這是綠色低碳的需要，也是用戶體驗的訴求，一個多層級的AI和算力網(wǎng)絡正爭相塑造一個全新的未來AI生態(tài)系統(tǒng)。
同時，高通向業(yè)界提供了一個重要信息，參數(shù)超過10億的AI模型已經(jīng)能夠在手機上運行，且性能和精度達到與云端相似的水平，未來幾個月內(nèi)，基于高通產(chǎn)品的終端側(cè)AI能力還會繼續(xù)突破，望支持參數(shù)超過100億的模型在終端側(cè)運行。而這意味著，手機芯片和系統(tǒng)將具備運行小型行業(yè)GPT規(guī)模相當AI模型的能力。
全球首個Android手機側(cè)運行10億參數(shù)AI模型
“隨著生成式AI的飛速普及，混合處理的重要性空前突顯。”高通技術(shù)公司產(chǎn)品管理高級副總裁兼AI負責人Ziad Asghar表示，混合處理AI的重要性空前突顯，正如傳統(tǒng)計算從大型主機和瘦客戶端演變?yōu)楫斍霸贫撕瓦吘壗K端相結(jié)合的模式，AI處理必須在云端和終端混合進行才能發(fā)揮其最大潛能。
高通技術(shù)公司產(chǎn)品管理高級副總裁兼AI負責人Ziad Asghar
Ziad Asghar表示，高通已經(jīng)實現(xiàn)了全球首個Android手機上的Stable Diffusion終端側(cè)演示。
據(jù)悉，Stable Diffusion是一個參數(shù)超過10億的超大神經(jīng)網(wǎng)絡基礎模型，能夠基于輸入的文本提示生成圖片。根據(jù)高通的演示，將手機設置成“飛行模式”，再通過手機端全棧AI優(yōu)化，這一模型能夠完全在終端側(cè)運行，實現(xiàn)在15秒內(nèi)完成20步推理，生成飽含細節(jié)的圖像。很重要的是，即便在飛行模式下，這些AI能力都可以得到實現(xiàn)，例如將Stable Diffusion的能力集成到相機應用中之后，用戶在任何一個地點拍攝照片，再要求AI將照片背景改為夕陽之下的萬里長城。
節(jié)約、高效是這種趨勢的最主要推動因素。舉例來說，使用基于生成式AI的搜索，每一次查詢其成本是傳統(tǒng)搜索方法的10倍，而這只是眾多生成式AI的應用之一。
Ziad Asghar透露，如果在云端運行一個超過10億參數(shù)的生成式AI模型，可能需要數(shù)百瓦的功耗，而在終端側(cè)運行需要的功耗僅有幾毫瓦，“這賦予了高通在生成式AI領域的獨特優(yōu)勢。不久的將來，擁有 100 億或更高參數(shù)的模型將能夠在終端上運行。”
Ziad Asghar表示，在云端服務器上訓練的模型一般采用32位浮點運算（FP32），高通希望通過整數(shù)運算模式和量化技術(shù)進行AI推理，即時獲取模型推理結(jié)果。針對Stable Diffusion，高通采用8位整數(shù)運算（INT8）。去年年底發(fā)布的第二代驍龍8移動平臺上，高通已經(jīng)能支持了4位整數(shù)運算（INT4）能力。
對于混合AI的運行模式，高通技術(shù)公司工程技術(shù)副總裁侯紀磊解釋，混合AI架構(gòu)可以根據(jù)模型和查詢需求的復雜度等因素，選擇不同方式在云端和終端側(cè)之間分配處理負載。例如，如果模型大孝提示和生成長度小于某個限定值，并且能夠提供可接受的精確度，推理即可完全在終端側(cè)進行；如果是更復雜的任務，模型則可以跨云端和終端運行。
“混合AI還能支持模型在終端側(cè)和云端同時運行，也就是在終端側(cè)運行輕量版模型時，在云端并行處理完整模型的多個標記（token），并在需要時更正終端側(cè)的處理結(jié)果。”侯紀磊表示。
“我們能夠提供非常高效的token生成速率，完全不會因為時延影響到用戶的體驗。”Ziad Asghar強調(diào)，流暢的用戶體驗也是端側(cè)AI的核心優(yōu)勢之一。
關(guān)注中國本土AI模型
顯然，對于混合AI的未來發(fā)展，高通在多個維度都持開放的態(tài)度。
高通不會局限于某個場景，例如ChatGPT，Ziad Asghar說，目前大語言模型的模態(tài)非常豐富，并且已經(jīng)出現(xiàn)了多模態(tài)模型，如文本生成圖片、文本生成文本、文本生成視頻，甚至圖片生成文本、圖片生成視頻等方式，這將揭開新的序幕，高通已經(jīng)開始面向不同場景和用例需求的模型展開工作。
“高通對模型的應用持有非常開放的態(tài)度。”Ziad Asghar表示，針對中國市場的模型，高通會專注于面向本地語言和使用場景的模型調(diào)優(yōu)和訓練，以讓用戶能夠根據(jù)不同的需求，隨時隨地地使用模型，“我們當前在關(guān)注不同的開源模型，同時我們也將與眾多的中國合作伙伴攜手，實現(xiàn)這些模型在本土市場的終端側(cè)部署。”這意味著，高通原則上存在與中國大模型公司合作的可能性。
與此同時，針對用戶所擔心的個人隱私數(shù)據(jù)保護，終端側(cè)AI恰恰能夠解決這一問題。“無論是10億參數(shù)的模型，還是100億參數(shù)的模型，如果能夠完全在終端側(cè)來運行，比如用戶發(fā)出一個查詢，終端接收之后能夠獨立完成推理，那么所有相關(guān)的查詢信息和數(shù)據(jù)都會留在終端上，不會離開終端。”Ziad Asghar認為，這對用戶來說是非常直觀的隱私和數(shù)據(jù)保護優(yōu)勢。
大模型會在C端和B端同步落地
白皮書中，高通將自研AI技術(shù)的起步時間點定在了2007年。Ziad Asghar介紹，高通長期專注于脈沖神經(jīng)網(wǎng)絡SNN研究，驍龍820平臺搭載第一代高通AI引擎，是高通最先應用這一技術(shù)的產(chǎn)品。
Ziad Asghar表示，目前高通AI引擎涵蓋了CPU、GPU以及Hexagon處理器，這保證了AI需求可以被在最合適的環(huán)節(jié)和位置被處理。去年，高通還推出了專門面向Transformer處理的領先技術(shù)，能夠大幅提升Transformer處理效率。
對于未來，Ziad Asghar認為，AI大模型會在C端和B端同步落地，無論是智能手機、VR、AR還是汽車等面向消費者的智能設備，亦或是企業(yè)級的搭載驍龍計算平臺的PC、智能手機等，都將是AI大模型的載體，“只要人們用手機，就可以感受到AI帶來的優(yōu)勢。”
