集微網(wǎng)報道 文/陳炳欣 全球眾多科技企業(yè)都在積極研究AI大模型，但從算力角度來看，人們的關(guān)注點多集中于云端，因為參數(shù)規(guī)模太大，要想實現(xiàn)AI大模型在邊緣側(cè)和終端側(cè)部署并不容易。如果大模型能夠在邊/端側(cè)進行部署，將有力推動智能應(yīng)用的普及和發(fā)展，為用戶和企業(yè)帶來更多價值。長遠來看，實現(xiàn)AI大模型在邊緣側(cè)和終端側(cè)部署也是未來的發(fā)展方向之一。
廠商加大對端側(cè)AI模型支持力度
相比于如火如荼的云端大模型，當前終端側(cè)的表現(xiàn)顯得冷清很多。然而，從云端到終端是AI行業(yè)發(fā)展的必然趨勢，如何讓終端設(shè)備實現(xiàn)類ChatGPT功能，是未來AI企業(yè)都需要面對的問題，算力部署更是其中的基矗
Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健在接受集微網(wǎng)采訪時表示，以 Open AI和ChatGPT為代表的大語言模型，甚至更廣泛的大模型時代，使AI成為所有人可見可觸的技術(shù)。對整個生產(chǎn)力都有很大的提高。在談到如何實現(xiàn)終端和邊緣側(cè)大模型部署時，馬健認為，首先這要求設(shè)計者在模型方面做到稀疏化。也就是說在云端設(shè)計出一些比較大的模型，然后通過稀疏化的過程，使模型在邊緣側(cè)做到相對有效的部署。從芯片架構(gòu)來看，異構(gòu)計算將是未來發(fā)展的必然選擇。邊緣側(cè)設(shè)備集成的芯片從同構(gòu)CPU架構(gòu)發(fā)展到異構(gòu)，以及加速器架構(gòu)，能夠更好地支持大模型稀疏化后形成的小模型，使它們能在邊緣側(cè)和端側(cè)實現(xiàn)部署。
目前，谷歌、微軟、騰訊等廠商均開始在在邊緣側(cè)和端側(cè)有所布局，加速AI 技術(shù)與智能終端的融合。芯片方面，高通在MWC 2023 大會發(fā)布全球首個運行在Android 手機上的Stable Diffusion終端側(cè)演示。Stable Diffusion 模型參數(shù)超過10 億，高通利用其AI 軟件棧對模型進行量化、編譯和硬件加速優(yōu)化，使其成功在搭載第二代驍龍8 移動平臺的手機上運行。
Arm也于日前推出Arm智能視覺參考設(shè)計，推進了AI大模型在終端與邊緣側(cè)的應(yīng)用。Arm 智能視覺參考設(shè)計不僅包括Arm Corstone-1000、Arm Corstone-300、Arm Mali-C55 圖像信號處理器，還集成了安謀科技開發(fā)的玲瓏VPU和周易NPU，并由安謀科技將 Arm IP 與安謀科技自研IP進行集成和驗證。
智能視覺作用日漸顯現(xiàn)
未來，隨著AI大模型從云端到終端延伸，智能視覺將發(fā)揮重要作用。對此，馬健指出，在模型和行動無處不在的新時代，智能視覺將變得必不可少。因為機器系統(tǒng)必須通過視覺等感官理解周圍環(huán)境，做出相應(yīng)的決策和行動，視覺信息為自動駕駛和機器人提供了關(guān)鍵的安全和避障能力，這是生死攸關(guān)問題。視覺對于人機交互也是至關(guān)重要，未來的聊天機器人或者伴侶機器人不僅需要高智商，更需要高情商，而機器視覺可以通過捕捉人類的表情、手勢和動作，從中理解人類的意圖和情感，改善 AI 與人類的溝通和合作。另外，模型優(yōu)化也可以借力智能視覺等感知技術(shù)，從現(xiàn)實生活中采集真實數(shù)據(jù)形成更準確的模型，而不僅僅是依賴于文本描述和靜態(tài)圖像。
未來，智能視覺系統(tǒng)將呈現(xiàn)兩大技術(shù)趨勢。首先是云、邊、端的協(xié)同。由于視頻數(shù)據(jù)巨大的數(shù)據(jù)量以及諸如自動駕駛等應(yīng)用對實時性要求非常高，這決定了智能視覺系統(tǒng)需要能夠?qū)⒂嬎愫蜎Q策任務(wù)分布在云、邊和終端設(shè)備上，并實現(xiàn)協(xié)同工作。其次是AI的加持。未來的智能視覺系統(tǒng)將繼續(xù)依賴深度學習模型和神經(jīng)網(wǎng)絡(luò)，提高圖像的分析和識別能力，并利用強化學習和自主自適應(yīng)學習，使系統(tǒng)能夠從環(huán)境中不斷學習和改進，并適應(yīng)新的場景和任務(wù)。
智能視覺芯片架構(gòu)在過去幾年中經(jīng)歷了一系列的演進，從功能固定難以編程的DSP和ASK，到通用性強易編程的 CPU 架構(gòu)，到現(xiàn)在的綜合了CPU、ISP圖像處理器、NPU AI 加速器、VPU視頻編解碼器、GPU圖形處理器的異構(gòu) SoC 片上系統(tǒng)，已經(jīng)逐步實現(xiàn)低功耗、高性能和高度集成的特點。這些處理器也可適用于對功耗要求更高的邊緣設(shè)備，如智能手機、攝像頭、XR，機器人和物聯(lián)網(wǎng)設(shè)備等，為智能視覺成為一種普世的能力奠定基矗 Arm 推出的全新智能視覺參考設(shè)計首次將 Arm 現(xiàn)有子系統(tǒng) IP 與第三方 IP整合，預集成和預驗證的產(chǎn)品組合能協(xié)助邊緣 AI 領(lǐng)域公司的初創(chuàng)公司、跨界創(chuàng)新公司或者是希望進行垂直整合的系統(tǒng)公司，加速 AI 與視覺應(yīng)用整合的實現(xiàn)。
