“本年度我們將能夠支持參數(shù)達100億的生成式AI模型在手機上運行，這意味著未來大多數(shù)的用例將能夠完全依靠手機端就能夠完成。我們在技術(shù)層面已經(jīng)做好了準備。”
“100億-150億參數(shù)級別的模型可以覆蓋絕大多數(shù)生成式AI的用例。如果終端已經(jīng)可以支持這一參數(shù)級別，那么運算可全部在終端上進行，無需云端處理運算。屆時我們會擁有非常豐富的使用場景，手機會成為您真正的個人助理。”
大模型和生成式AI在公眾的印象中，仍然是大算力和大功耗的代表，但實際上，完全斷網(wǎng)的飛行模式下，在手機上離線運行大模型已經(jīng)成為現(xiàn)實。
高通AI引擎由多個硬件和軟件組件組成，用于在驍龍移動平臺上為終端側(cè)AI推理加速。它采用異構(gòu)計算架構(gòu)，包括高通Hexagon處理器、Adreno GPU、Kryo CPU和傳感器中樞，共同支持在終端上運行AI應(yīng)用程序。上圖為第二代驍龍8移動平臺的高通AI引擎。
在2023年世界人工智能大會上，高通技術(shù)公司（Qualcomm）展示了全球首個在終端側(cè)運行生成式AI（AIGC）模型Stable Diffusion的技術(shù)演示，和全球最快的終端側(cè)語言-視覺模型（LVM）ControlNet運行演示。這兩款模型的參數(shù)量已經(jīng)達到10億-15億，僅在十幾秒內(nèi)就能夠完成一系列推理，根據(jù)輸入的文字或圖片生成全新的AI圖像。
在接受澎湃科技（www.thepaper.cn）專訪時，高通技術(shù)公司產(chǎn)品管理高級副總裁兼AI負責(zé)人Ziad Asghar進一步表示，“本年度我們將能夠支持參數(shù)達100億的生成式AI模型在手機上運行，這意味著未來大多數(shù)的用例將能夠完全依靠手機端就能夠完成。我們在技術(shù)層面已經(jīng)做好了準備。”
生成式AI進入未來生活的趨勢已經(jīng)不可阻擋，為了讓生成式AI規(guī)�；瘮U展到更多終端設(shè)備中，高通提出了混合AI架構(gòu)的運行方式，即在云端和設(shè)備終端的邊緣側(cè)之間分配算力，協(xié)同處理AI工作負載。近期發(fā)布的白皮書《混合AI是AI的未來》中，高通也提到“在以終端為中心的混合式AI架構(gòu)中，云端僅用于處理終端側(cè)無法充分運行的AI任務(wù)。”
5G技術(shù)的廣泛應(yīng)用讓從中心云、到邊緣云、再到終端側(cè)的信息得以無縫傳輸和協(xié)同計算。Asghar表示，在數(shù)據(jù)產(chǎn)生的地方直接進行高效推理才是大趨勢。而數(shù)據(jù)產(chǎn)生的地方正是在端側(cè)，比如手機端或電腦端。在高通AI軟件棧（Qualcomm AI Stack）的幫助下，手機端的能力更是可以在其他設(shè)備端實現(xiàn)復(fù)制，如PC、AR/VR、汽車和物聯(lián)網(wǎng)IoT設(shè)備。
高通技術(shù)公司產(chǎn)品管理高級副總裁兼AI負責(zé)人Ziad Asghar。
手機上的長期技術(shù)優(yōu)勢
高通在手機處理器芯片中的地位毋庸置疑，當(dāng)國內(nèi)外手機品牌比拼技術(shù)參數(shù)時，都會以搭載高通驍龍?zhí)幚砥髯鳛橘u點。此次高通對混合AI技術(shù)路線的提出，讓人自然聯(lián)想到高通在手機上的優(yōu)勢。對此，Asghar也向澎湃科技直言，“高通支持生成式AI在終端側(cè)進行推理，是因為我們完全有能力支持在手機上進行10億、15億甚至未來上百億參數(shù)規(guī)模的模型運算。”
“100億-150億參數(shù)級別的模型可以覆蓋絕大多數(shù)生成式AI的用例。”Asghar介紹，“如果終端已經(jīng)可以支持這一參數(shù)級別，那么運算可全部在終端上進行，無需云端處理運算。屆時我們會擁有非常豐富的使用場景，手機會成為您真正的個人助理，與手機交流和交互，能夠成為我們?nèi)粘Ｐ袨榈淖匀谎由欤缬糜陬A(yù)約會議、寫郵件，以及在娛樂和內(nèi)容生產(chǎn)上。”
希望在終端側(cè)進行生成式AI的運算，最首要的原因是隱私保護。如果要通過云端進行生成式AI的查詢，用戶輸入和查詢的相關(guān)信息也會傳送到云端，從而造成潛在的安全風(fēng)險。與之相對，在端側(cè)通過生成式AI進行查詢的話，所有信息都能夠保留在端側(cè)。另外，終端側(cè)的運算會帶有豐富的情境信息，如手機和VR/AR（虛擬現(xiàn)實/混合現(xiàn)實）設(shè)備上，消費者本人的移動狀態(tài)、個人偏好，設(shè)備上的多媒體信息等都可以被生成式AI捕捉，帶來比云端更好的沉浸式體驗。
要在終端側(cè)支持100億-150億參數(shù)的AI大模型，需要非常強大的終端側(cè)AI技術(shù)和算力支持。Asghar介紹，終端設(shè)備每年在性能上都有長足的進步，這主要是因為高通在許多芯片模塊上都實現(xiàn)了技術(shù)迭代，比如CPU、GPU和Hexagon處理器（高通的AI專用處理器）。
“高通的DNA是以低功耗實現(xiàn)高性能，這是我們在所有產(chǎn)品設(shè)計研發(fā)方面的宗旨，AI計算更是這樣。”Asghar提到Stable Diffusion的運算時進一步表示，“Stable Diffusion如果通過云端計算，需要幾百瓦的功率，但在高通芯片組的支持下，在終端設(shè)備能夠?qū)崿F(xiàn)僅毫瓦級別的功耗，這是高通最大的競爭優(yōu)勢之一。”
將技術(shù)優(yōu)勢拓展到其他終端
實際上，高通在手機上的先進技術(shù)在其他設(shè)備端也實現(xiàn)了復(fù)制，比如在汽車領(lǐng)域，高通的汽車ADAS應(yīng)用同樣做到了更低功耗。Asghar介紹，高通有些產(chǎn)品線的AI性能比其他產(chǎn)品線更高，“比如汽車平臺，因為汽車芯片的尺寸更大，可以支持更高算力，PC平臺也是同理。”
“在高通，我們有‘統(tǒng)一的技術(shù)路線圖’，它包括一系列高通獨特的知識產(chǎn)權(quán)和技術(shù)，是高通不同業(yè)務(wù)解決方案的核心。我們可以將這些核心技術(shù)廣泛擴展到不同的產(chǎn)品線。”Asghar介紹，“同樣的Hexagon處理器和高通AI軟件棧，可以應(yīng)用于我們?nèi)康臉I(yè)務(wù)線，包括手機以及AR、VR等終端。”
在AI計算的實現(xiàn)上，軟件與硬件同樣重要，因為必須在端側(cè)做到運算更快，效率更高，并推動AI應(yīng)用在廣泛終端上的部署和普及。這也是2022年6月高通推出高通AI軟件棧（Qualcomm AI Stack）的原因。高通AI軟件棧支持包括TensorFlow、Pytorch和ONNX在內(nèi)的所有主流開發(fā)框架，所有runtimes（運行時，即某門編程語言的運行環(huán)境）和操作系統(tǒng)。借助高通AI軟件棧，開發(fā)者在智能手機領(lǐng)域開發(fā)的軟件可以快速擴展至汽車、XR、可穿戴設(shè)備等其他產(chǎn)品線進行使用。
高通AI軟件棧這種一次開發(fā)就能全面部署所有產(chǎn)品線的優(yōu)勢，也為高通打造生態(tài)圈奠定了基�；诟咄ǚ植加诟鱾�領(lǐng)域的知識產(chǎn)權(quán)和技術(shù)，高通能夠橫跨多個生態(tài)系統(tǒng)，與行業(yè)領(lǐng)軍企業(yè)進行深入合作，例如在PC領(lǐng)域，2023年5月微軟Build大會上，高通和微軟宣布合作關(guān)系，將面向消費級和企業(yè)級終端規(guī)�；瘮U展AI能力。在AR/VR終端方面，2022年9月，高通也與Meta進行了合作，為Meta Quest平臺提供定制驍龍XR平臺。
“未來我們需要加大終端側(cè)技術(shù)上的研發(fā)，尤其是進一步提升量化的算法。例如服務(wù)器上訓(xùn)練的模型一般采用32位浮點運算（FP32），而我們在手機端現(xiàn)在能夠支持INT4計算，這能大大提高端側(cè)的處理能力。”Asghar說。
