機(jī)器之心報道
編輯：澤南
做最有挑戰(zhàn)的事：把生成式 AI 送到每個人手上。
沒想到，生成式 AI 爆發(fā)后，產(chǎn)業(yè)格局的變化居然這么快。
一個月前，微軟向全世界介紹了專為 AI 設(shè)計的「Copilot + PC」，AI PC 這個新品類突然有了標(biāo)準(zhǔn)款。
這是迄今為止速度最快、最智能化的 Windows 個人電腦。憑借搭載的新型芯片，它能夠?qū)崿F(xiàn)超過 40 TOPS（每秒萬億次操作）AI 算力、電池續(xù)航時間長達(dá)一整天，而且無縫接入了世界最先進(jìn)的人工智能模型。其發(fā)布之時，只有驍龍 X 系列的 45TOPS 能夠滿足這樣的 Windows 11 AI PC 新品類。
目前基于驍龍 X 系列平臺的各品牌 Windows 11 AI PC 已經(jīng)開始在國內(nèi)陸續(xù)開賣，擁有很多獨(dú)特的 AI 能力，例如通過回顧功能對瀏覽過的內(nèi)部存儲資料進(jìn)行 AI 搜索，設(shè)備端的 AI 圖像生成與優(yōu)化，給視頻和在線會議加實(shí)時翻譯字幕、背景濾鏡等等。
結(jié)合終端側(cè)最先進(jìn)的大模型技術(shù)，人們可以在新型設(shè)備上與 AI 輕松地進(jìn)行交互。AI 大模型可以實(shí)時看到、聽到系統(tǒng)內(nèi)外的信息，并給與有效回應(yīng)，大幅提升你的工作效率。
還記得 OpenAI CEO 山姆·奧特曼發(fā)布 GPT-4o 的時候曾經(jīng)說過「與電腦交互從來都不是很自然的事情」，似乎話音未落，變革已經(jīng)來到了。
在興奮于人機(jī)交互方式的顛覆之后，人們發(fā)現(xiàn)，這些新形態(tài)設(shè)備的內(nèi)在也有些許不同之處：常年由 X86 架構(gòu)主導(dǎo)的 Windows 筆記本，到了 AI PC 時代卻是一水的高通驍龍 X 系列芯片。
而且，這還不是簡單的替換。微軟官方后續(xù)進(jìn)行了說明：Windows 11 中的部分生成式 AI 能力，只有在搭載驍龍芯片上才能正常運(yùn)行。
為什么到了生成式 AI 時代，計算機(jī)內(nèi)部的「C 位」忽然換了人？
7 月 4 日，世界人工智能大會暨人工智能全球治理高級別會議 WAIC 2024 正式召開，在這次大會上，高通展示的一系列終端側(cè)生成式 AI 能力給了我們答案。
芯片 AI 能力，帶動設(shè)備形態(tài)變革
自 ChatGPT 問世以來，人們就一直在期待大模型等新技術(shù)帶來的變革。
不過這條道路異常艱難，在技術(shù)進(jìn)步的過程中，人們面臨著數(shù)據(jù)、算法和算力的三重挑戰(zhàn)。生成式 AI 極度消耗算力，用于計算大模型的 GPU 都成了稀缺品。面向 AI 計算的芯片迅速成為各家硬件公司的探索方向。
在終端側(cè)算力上，動作最快的就是高通。
去年 10 月，高通在驍龍峰會上推出了第三代驍龍 8 移動平臺（驍龍 8Gen3），這塊 SoC 在多核跑分中跑贏了蘋果 A17 Pro，由于 CPU 和 GPU 性能的大幅提升，NPU 性能直接翻倍，它成為了旗艦 AI 手機(jī)芯片的首眩
如今，搭載新一代芯片的 AI 手機(jī)已經(jīng)大賣，AI 手機(jī)很大程度上已經(jīng)是「現(xiàn)在式」，與此同時還有一個「未來式」 同在驍龍大會上，我們看到高通花費(fèi)大量篇幅，介紹了全新設(shè)計的高性能 PC 芯片驍龍 X 系列平臺。
它的旗艦產(chǎn)品就是「驍龍 X Elite」，大幅提升了移動 PC 能力的上限。
這款芯片采用 4nm 制程打造，搭載了 12 大核的 Oryon CPU，。與英特爾 Ultra 7 155H 相比，Oryon CPU 的單核同功耗性能領(lǐng)先 54%，同性能水平的能耗可以降低 65%。在蘋果 M3 芯片推出以后，驍龍 X Elite CPU 在 Geekbench 多線程中的測試結(jié)果要比蘋果新品好上 28%。
GPU 方面，驍龍 X Elite 采用的 Adreno GPU 與 Ultra 7 155H 相比同功耗性能高出 36%，達(dá)到相同性能時，功耗只有競品的一半。
這款芯片最突出的亮點(diǎn)是其面向下一代設(shè)備形態(tài)的 AI 算力。驍龍 X Elite 僅依靠 NPU 就可以實(shí)現(xiàn) 45TOPS 算力，結(jié)合 CPU、GPU、NPU 的異構(gòu)計算可以輸出更高算力。
根據(jù)測算，在驍龍 X Elite 的支持下，新一代 AI PC 可以在終端側(cè)運(yùn)行超過 130 億參數(shù)的生成式 AI 模型。
這就讓新一代筆記本電腦，擁有了跑大模型的底氣。
驍龍峰會上，高通 CEO 克里斯蒂亞諾·安蒙與微軟 CEO 薩提亞·納德拉進(jìn)行了面對面對話。兩人展望了基于新硬件和大模型算法所能催生出的未來產(chǎn)品形態(tài)。
安蒙與納德拉提到，新一代的 AI PC 就是要把只有新形態(tài)系統(tǒng)架構(gòu)才能實(shí)現(xiàn)的體驗(yàn)統(tǒng)統(tǒng)結(jié)合在一起。在 AI 算力和大模型結(jié)合之后，我們使用 Windows 的體驗(yàn)就仿佛在 Windows 初生時遇見「開始」按鈕一樣 所有的應(yīng)用程序、體驗(yàn)都會有機(jī)地整合到一鍵之上。
幾個月后，當(dāng)初的預(yù)告就落地成為了現(xiàn)實(shí)。現(xiàn)在，我們可以使用 AI PC 快速直觀地檢索想要尋找的內(nèi)容，亦或是借助實(shí)時字幕突破語言障礙，還可以使用 AI 的圖像生成能力進(jìn)行創(chuàng)作。
未來，AI PC 的能力還將覆蓋人們的學(xué)習(xí)、搜索與創(chuàng)作，我們使用電腦的方式或許會被徹底改變。
在芯片突破的同時，在這幾個月里，大模型技術(shù)的發(fā)展同樣突飛猛進(jìn)。
模型優(yōu)化，完成最后一塊拼圖
最近一段時間，不論科技大廠還是創(chuàng)業(yè)公司都在加速研發(fā)「輕量級」AI 模型。
去年 7 月，Meta 的開源模型 LLaMA-2 70B 模型性能已接近于 GPT-3.5，到今年 4 月，LLaMA-3 8B 做到了在 80 億參數(shù)的體量上性能與 ChatGPT 3.5 基本相當(dāng)。
上個星期，谷歌開源的 Gemma 2，已經(jīng)可以使用單塊 GPU 進(jìn)行推理，性能還超過了體量大于自身兩倍的競品。
而在手機(jī)、電腦等常規(guī)終端設(shè)備上，現(xiàn)在我們也已經(jīng)可以運(yùn)行起與大型云端模型水平相當(dāng)?shù)?AI 模型了。
在世界人工智能大會 WAIC 2024 上，高通展示了首個在 Android 智能手機(jī)上運(yùn)行的大語言和視覺助理大模型（LLaVA），擁有超過 70 億參數(shù)，可以接收文字和圖像內(nèi)容的輸入，并生成關(guān)于圖像的多輪對話。LLaVA 在由驍龍 8 Gen 3 移動平臺支持的工程機(jī)上運(yùn)行，通過全棧的 AI 優(yōu)化，實(shí)現(xiàn)了極高的響應(yīng)速度。
加入視覺理解能力的大模型可以為 AI 手機(jī)帶來很多新的用法。在 WAIC 人工智能賦能新型工業(yè)化主題論壇上，高通公司中國區(qū)研發(fā)負(fù)責(zé)人徐分享了多模態(tài)終端側(cè) AI 的應(yīng)用前景。
高通公司中國區(qū)研發(fā)負(fù)責(zé)人徐在 WAIC 上。
比如你可以給冰箱里的食材拍一張照片，然后問大語言模型「你看到了什么？」，AI 可以很快地識別所有物體；在此基礎(chǔ)上還可以接著問「基于這些食材，請給我推薦一個菜譜」，讓 AI 進(jìn)行菜式和做法的推薦。這比以前的 AI 助手，只能問「今天天氣怎么樣」或者「給我講一個笑話」要有用的多。
在搭載驍龍 X Elite 的 Windows PC 上，高通此前還展示過全球首個超過 70 億參數(shù)的 LMM 設(shè)備端推理，它可以接受文本和環(huán)境音頻輸入（如音樂、交通聲音等），然后生成關(guān)于音頻的多輪對話。
能夠終端側(cè)處理音頻內(nèi)容的方法，可以幫助 AI PC 更好地回答用戶給出的指令。
為了把大模型微調(diào)的成本「打下來」，AI 學(xué)界提出的低秩自適應(yīng)（LoRA）技術(shù)已經(jīng)成為了先進(jìn)大模型的主流方法，它能夠在保證模型輸出內(nèi)容質(zhì)量的前提下，大幅降低 AI 模型的可訓(xùn)練參數(shù)量。高通率先在安卓手機(jī)上實(shí)現(xiàn)了 LoRA 模型的終端側(cè)運(yùn)行，降低了大模型的訓(xùn)練成本，并演示了手機(jī)端運(yùn)行支持 LoRA 適配器的圖像生成模型 Stable Diffusion。
在 WAIC 現(xiàn)場，高通展示了驍龍生態(tài)的更多可能性。抖音集團(tuán)在驍龍 X Elite 平臺的 AI PC 上跑起了自家的機(jī)器學(xué)習(xí)框架 ByteNN，對剪映客戶端進(jìn)行 AI 適配優(yōu)化。通過 NPU 加速，剪映的智能摳像功能可以實(shí)現(xiàn)快速、輕松的一鍵移除視頻背景，測試對兩分鐘時長的視頻進(jìn)行智能摳像，比使用 CPU 耗時降低 92%，完成摳像任務(wù)所消耗電量減少 85%。
另外，在剪映的美顏美體勻膚功能中，我們同樣可以在本地 NPU 的加速下實(shí)現(xiàn)快速祛斑祛痘能力。
高通還展示了高度智能的 AI 服務(wù)機(jī)器人。告訴機(jī)器人「我想喝水」或是「我口渴」，機(jī)器人會提供不同的飲料選擇。用戶選擇之后，機(jī)器人可以走到房間另一側(cè)，識別飲料然后拿給用戶。這樣由人工智能驅(qū)動的機(jī)器人，已經(jīng)可以在日常生活中提供幫助了。
有了多模態(tài)、LoRA 和能夠支撐第三方應(yīng)用的軟件棧，高通可謂已經(jīng)完成了終端側(cè)生成式 AI 的全部拼圖。
用「小模型」撬動大生態(tài)
上述這些研究、實(shí)踐的共同目的，是為了讓 AI 大模型更加輕量化，讓終端側(cè)設(shè)備承擔(dān)起更多的計算任務(wù)。大模型雖然可以在云端運(yùn)行，但在終端側(cè)設(shè)備上運(yùn)行生成式 AI 的推理可以帶來很多好處。
從技術(shù)角度來看，終端側(cè)處理 AI 任務(wù)具有保護(hù)隱私、個性化、降低成本、可靠性和快速響應(yīng)的優(yōu)勢，每個方面對于大規(guī)模、常態(tài)化的部署都至關(guān)重要。
從實(shí)用角度來看，作為「通用化」的人工智能技術(shù)，在擁有更完善的能力后，終端側(cè)大模型可以讓手機(jī)等設(shè)備更全面地了解世界，AI 助理實(shí)現(xiàn)真正的智能化，把我們從很多繁雜的任務(wù)中解放出來。
不過，能做到從軟到硬，布局完整體系，又有大規(guī)模生態(tài)的玩家并不多。
在國內(nèi)，除了各家大廠打造的旗艦 AI 手機(jī)，部分玩家在 AI PC 上的角力才剛剛展開。把視線往遠(yuǎn)看，生成式 AI 的應(yīng)用還要擴(kuò)展到汽車、XR 設(shè)備和物聯(lián)網(wǎng)上。
這其中，很多應(yīng)用落地的背后都可以看見高通的身影。
WAIC 大會上，高通中國區(qū)董事長孟在產(chǎn)業(yè)發(fā)展主論壇上介紹了高通為推動終終端側(cè) AI 發(fā)展所做的努力。
高通中國區(qū)董事長孟在 WAIC 大會現(xiàn)常
高通擁有超過 15 年的 AI 技術(shù)研發(fā)經(jīng)驗(yàn)，憑借長期不懈的技術(shù)探索與實(shí)踐，已經(jīng)打造出了端云結(jié)合的混合 AI 能力。在生成式 AI 時代，高通充分發(fā)揮技術(shù)優(yōu)勢，為終端設(shè)備提供了性能領(lǐng)先的硬件，其可擴(kuò)展的軟硬件技術(shù)架構(gòu)可以對多種 AI 算法實(shí)現(xiàn)性能、能效的極致優(yōu)化，并快速部署到不同終端上。
在去年驍龍峰會上，高通便表示全球搭載驍龍芯片的設(shè)備已經(jīng)超過了 30 億臺。背靠龐大的設(shè)備基數(shù)，先進(jìn)的軟硬件全棧優(yōu)化體系，以及全球協(xié)作的生態(tài)系統(tǒng)，高通在生成式 AI 技術(shù)爆發(fā)的過程中，進(jìn)一步擴(kuò)展了對于前沿技術(shù)方向的探索，站在了引領(lǐng)潮流的高度。
現(xiàn)在，高通的生成式 AI 能力已經(jīng)覆蓋了開發(fā)的全流程：高通提供面向生成式 AI 設(shè)計的全新計算架構(gòu)，可以實(shí)現(xiàn) CPU、NPU、GPU 結(jié)合的異構(gòu)計算；高通 AI 引擎能夠橫跨不同設(shè)備類型，幫助人們把業(yè)界領(lǐng)先的 AI 模型快速落地；最后，使用這套軟件和硬件，大模型應(yīng)用對接的還是用戶面積最大、品類最為繁多的生態(tài)。
高通的終端側(cè)生成式 AI 布局，已經(jīng)在收獲成果：
智能手機(jī)是生成式 AI 發(fā)展最快的領(lǐng)域之一，已有超過 20 款搭載第三代驍龍 8 的旗艦手機(jī)產(chǎn)品發(fā)布。這些 AI 手機(jī)支持的應(yīng)用針對人們的需求進(jìn)行了大量優(yōu)化，大幅提升了實(shí)用性，讓生成式 AI 越來越貼近我們的生活。
個人電腦方面，高通的驍龍 X Elite 和驍龍 X Plus 平臺憑借專用的 AI 算力實(shí)現(xiàn)了一系列獨(dú)有功能。聯(lián)手微軟等生態(tài)伙伴，已有超過 20 款基于驍龍 X 系列的 Windows 11 AI PC 上市。新形態(tài)的硬件為人們帶來了更多可能性。
在汽車領(lǐng)域，「AI 上車」正在成為現(xiàn)實(shí)。包括理想、小鵬、極越等多家汽車廠商，已經(jīng)在搭載第四代至尊級驍龍座艙平臺（驍龍8295）的汽車上部署了車端大模型；隨著多模態(tài)技術(shù)的發(fā)展，生成式 AI 有望為智能座艙、自動駕駛等領(lǐng)域打開全新的應(yīng)用空間。
有高通這樣提供完整技術(shù)棧的存在，生成式 AI 的大規(guī)模落地已經(jīng)按下了加速鍵。由此帶動，變革正逐漸顯現(xiàn)，這不由得讓人想起 NPU 剛剛誕生時，上一波 AI 技術(shù)爆發(fā)的前夜。
很快，終端側(cè)生成式 AI 帶來的智能化將會無處不在。
