文/郭曉靜
視頻策劃/吳彬
智能手機(jī)集成AI技術(shù)已非新鮮事，自2017年起，AI便開始在圖像降噪等處理任務(wù)中發(fā)揮作用，并逐步擴(kuò)展至幀率優(yōu)化、畫質(zhì)增強(qiáng)等場(chǎng)景應(yīng)用。然而，這些早期應(yīng)用所依賴的模型參數(shù)量通常不超過(guò)1000萬(wàn)，與當(dāng)前討論的端側(cè)大模型相比，其規(guī)模相差很遠(yuǎn)。如今，即使是最小的端側(cè)大模型，其參數(shù)量也已達(dá)到10億，是早期模型的100倍。盡管如此，這些10億參數(shù)級(jí)的模型也只能執(zhí)行一些基本的文本處理任務(wù)。
考慮到手機(jī)用戶對(duì)多模態(tài)（文本、圖像、視頻等）處理的需求，甚至需要?jiǎng)虞m百億參數(shù)的模型才能提供滿意的用戶體驗(yàn)。手機(jī)運(yùn)行如此大規(guī)模的模型，需要至少13GB的內(nèi)存和130GB/s的帶寬。然而，觀察到2023年旗艦手機(jī)的配置，內(nèi)存通常為16GB，帶寬為50GB/s，這樣的硬件配置使得在手機(jī)上運(yùn)行大模型看起來(lái)幾乎成為不可能的任務(wù)。
盡管如此，手機(jī)廠商和用戶都渴望將大模型集成到手機(jī)中。手機(jī)行業(yè)增長(zhǎng)放緩，廠商急需新體驗(yàn)來(lái)打破僵局。集成大模型的手機(jī)承載著新的重要任務(wù)打破傳統(tǒng)應(yīng)用壁壘、垂直整合軟硬結(jié)合的新生態(tài)。同時(shí)，用戶對(duì)大模型的認(rèn)知逐漸形成，他們期望能夠在智能手機(jī)上享受到大模型帶來(lái)的便利。
2023年下半年開始，我們逐漸看到各大手機(jī)廠商爭(zhēng)相進(jìn)入大模型賽道，而背后，芯片廠商正在賦能。芯片的進(jìn)化被認(rèn)為符合摩爾定律，那就是每24個(gè)月左右，晶體管的密度就會(huì)成倍，目前摩爾定律的速度已經(jīng)明顯放緩，每年僅能增長(zhǎng)20%-30%，而以端側(cè)AI的復(fù)雜度來(lái)講，每年需要底層硬件提升的性能則需要達(dá)到至少兩倍。如何突破摩爾定律的瓶頸從而達(dá)到用戶期待的性能需求，考驗(yàn)的是芯片廠商的創(chuàng)新能力。
另外，除了芯片本身的性能，如何能讓芯片在手機(jī)上發(fā)揮最大的能效來(lái)達(dá)到更好的體驗(yàn)，還需要芯片廠商的生態(tài)能力、服務(wù)能力等各個(gè)方面的持續(xù)發(fā)力。
在這場(chǎng)手機(jī)芯片大進(jìn)化的背后，聯(lián)發(fā)科和高通是最受矚目的兩大玩家。在2023年10月的驍龍峰會(huì)上，高通發(fā)布了驍龍8Gen3，支持運(yùn)行100億參數(shù)端側(cè)大模型。緊隨其后，聯(lián)發(fā)科發(fā)布了天璣9300，支持運(yùn)行10億至330億參數(shù)的端側(cè)大模型。
AI能力的增強(qiáng)正成為芯片廠商新的競(jìng)爭(zhēng)焦點(diǎn)。本期《AI未來(lái)指北》端側(cè)大模型系列，將深入探討手機(jī)端側(cè)大模型背后的軟硬件創(chuàng)新。我們對(duì)話了聯(lián)發(fā)科技計(jì)算與人工智能技術(shù)事業(yè)群副總經(jīng)理陸忠立博士，作為這場(chǎng)AI芯片進(jìn)化的親歷者和推動(dòng)者，在本次對(duì)話中，他分享了關(guān)于這一領(lǐng)域的一些關(guān)鍵見解：
●把大模型裝入手機(jī)，需要哪些關(guān)鍵步驟？
●把大模型裝進(jìn)手機(jī)，僅僅是營(yíng)銷噱頭嗎？
●大模型能力的上限取決于什么？
●如果摩爾定律失效，芯片如何才能不斷突破能力極限來(lái)應(yīng)對(duì)越來(lái)越復(fù)雜的應(yīng)用端需求？
以下為對(duì)話內(nèi)容精編：
一、芯片能力的上限決定了端側(cè)大模型能力的上限嗎？
科技新聞：Allen(陸忠立）你好，端側(cè)大模型是目前行業(yè)關(guān)注的一個(gè)重要方向，我們看到今年各大手機(jī)廠商的一個(gè)宣傳重點(diǎn)就是端側(cè)大模型，這對(duì)產(chǎn)業(yè)來(lái)講，會(huì)是一個(gè)巨大的機(jī)遇嗎？
陸忠立：我們認(rèn)為這是一個(gè)千載難逢的機(jī)會(huì)，就像大家所講的AI是iPhoneMoment�，F(xiàn)在的大模型讓智能手機(jī)從SmartPhone變成了AISmartPhone這樣的概念。
傳統(tǒng)的智能手機(jī)可以下載APP，這些APP讓你的手機(jī)變得很聰明，這個(gè)智能并不是手機(jī)變智能，對(duì)于使用者而言，只是在消費(fèi)內(nèi)容而已。
現(xiàn)在端側(cè)大模型出現(xiàn)，會(huì)顛覆原來(lái)的使用體驗(yàn)。舉例來(lái)講，你現(xiàn)在買一個(gè)東西可能要到多個(gè)電商平臺(tái)去找最低價(jià)的產(chǎn)品，或者通過(guò)比價(jià)網(wǎng)站找到性價(jià)比最好的產(chǎn)品。如果有一個(gè)AI助手或智能體，它能夠自動(dòng)幫你去做這些事情，找到最適合你的產(chǎn)品。這樣的話，從“你”的角度來(lái)講，這才叫AISmartPhone。AISmartPhone和SmartPhone最大的區(qū)別就是它能更了解使用者，讓使用者更容易達(dá)到他想要做的事情，而且是完全朝著對(duì)使用者有利的方向。我們覺得現(xiàn)在看起來(lái)大模型、多模態(tài)、智能體這一系列的發(fā)展，就是往這個(gè)方向在走，讓所謂的智能手機(jī)變得更智能化，成為AISmartPhone。
科技新聞：這樣看來(lái)，未來(lái)大模型會(huì)不會(huì)是一個(gè)超級(jí)入口？
陸忠立：我們認(rèn)為大模型后面會(huì)變成一個(gè)新的入口，主要就是因?yàn)樗梢灾悄芑馗褂谜邷贤�。但是大語(yǔ)言模型僅僅是第一個(gè)階段；第二個(gè)階段則是多模態(tài)。
第一階段大語(yǔ)言模型，就像大腦，它能夠跟你對(duì)話，到了第二階段就等于多了感官，多了眼睛、耳朵。所以它能夠接收到更多的資訊，能夠更深入地理解使用者的意圖，也更能夠全面了解這個(gè)世界，我們都能看到，像谷歌最近發(fā)布了雙子星（Gemini），蘋果前幾天也發(fā)布了它的多模態(tài)模型。
第三個(gè)階段，就是智能體的階段。它除了接受外界信息、有了感官以外，還能夠做執(zhí)行。通過(guò)一些工具，例如通過(guò)調(diào)用APP做大家衣食住行相關(guān)的事情。如果沒有APP，它則可以自己寫代碼，然后產(chǎn)生出它要的一些結(jié)果。
目前還在第二階段多模態(tài)的階段，未來(lái)會(huì)慢慢走向智能體的階段。
科技新聞：在目前這個(gè)階段，你覺得消費(fèi)者會(huì)因?yàn)榇竽Ｐ偷墓δ芏鴵Q手機(jī)嗎？
陸忠立：從我自己來(lái)講，我會(huì)的。即使在目前這個(gè)階段，我們已經(jīng)看到一些顛覆性的應(yīng)用，后面只會(huì)有越來(lái)越多的應(yīng)用。
另外，現(xiàn)在99%的大模型都是運(yùn)行在云端上算力很強(qiáng)，不過(guò)本地端會(huì)有無(wú)法替代的幾個(gè)優(yōu)點(diǎn)： 第一就是隱私性的問題。因?yàn)楹芏嚯[私信息，比如說(shuō)我的聲音或者是影像，我并不希望被上傳到云端變成訓(xùn)練材料的一部分。另外可以做個(gè)性化，如果說(shuō)語(yǔ)言模型根據(jù)你的聲音來(lái)更適配，準(zhǔn)確度可能會(huì)更高。第三，我目前覺得最重要的部分是成本。像我剛剛講到的云端APP，每個(gè)月還是要交一定的錢。假設(shè)這個(gè)能夠跑在端側(cè)，原則上大概除了你一開始買手機(jī)的費(fèi)用，后面基本上就是免費(fèi)的。
當(dāng)然，端側(cè)有這些好處，但并不是說(shuō)端側(cè)會(huì)完全取代掉云側(cè)，云端大模型有它不可取代的優(yōu)點(diǎn)，比如說(shuō)準(zhǔn)確率很高，可以處理復(fù)雜的事情，特別是一些需要全局資訊的工作還是需要云端模型來(lái)做。
科技新聞：我們知道其實(shí)大模型是需要很強(qiáng)的算力，芯片能力的上限，是否決定了端側(cè)大模型能力的上限？
陸忠立：端側(cè)大模型很大一部分的確是受限于芯片處理的能力。大模型目前我們看起來(lái)有三個(gè)需求，一個(gè)是剛才您提到芯片算力的部分，另外還有兩個(gè)很重要的部分，一個(gè)是內(nèi)存的容量，還有內(nèi)存的帶寬。甚至在某些情況下，內(nèi)存的容量跟內(nèi)存的帶寬會(huì)影響到整個(gè)大模型執(zhí)行的性能。所以端側(cè)來(lái)講，目前我們看到的是芯片很大部分決定了你在端側(cè)大模型能夠跑的大小，或者是速度。
舉例來(lái)講，以2023的旗艦手機(jī)來(lái)講，算力大概都是在40TOPS到50T（TOPS）左右，內(nèi)存的容量大概是在16GB，內(nèi)存的帶寬大概是在50GB/s，大概是這樣的數(shù)字。
如果在端側(cè)跑一個(gè)130億的大模型，它需要的算力、內(nèi)存容量、內(nèi)存帶寬都超過(guò)目前旗艦機(jī)能夠提供的能力。
所以就需要在幾個(gè)方面做改善：
第一，硬件方面，需要一些專用的硬件來(lái)加速大模型的執(zhí)行。
第二，在算法和軟件上面，利用類似于模型剪枝的技術(shù)，我們可以把大模型里面不需要執(zhí)行的部分或者是很少執(zhí)行的部分修剪掉，然后再來(lái)做量化，從16Bit（比特）量化到4Bit（比特），從而減少對(duì)內(nèi)存的容量占用跟帶寬需求。
第三，可以做壓縮。
科技新聞：如果拋開硬件的限制，手機(jī)端側(cè)跑大模型，參數(shù)量也是越大越好嗎？
陸忠立：我并不認(rèn)為是越大越好，最重要的還是適配性的問題，需要的模型規(guī)模與要完成的具體特定工作有關(guān)。舉個(gè)例子，如果僅僅是處理文章的摘要，我們發(fā)現(xiàn)10億參數(shù)左右的大模型能夠達(dá)到的效果其實(shí)跟ChatGPT的效果差不多。如果你要進(jìn)行一些對(duì)話，需要的內(nèi)存帶寬，還有算力也會(huì)越大，這個(gè)連帶影響需要的功耗也會(huì)越大。我想大部分人也不希望買一個(gè)智能手機(jī)，做了簡(jiǎn)單的對(duì)話，但是馬上就沒有電了。
所以手機(jī)大模型的參數(shù)量要考慮到性能和功耗的平衡，根據(jù)用戶所需要的性能以及目標(biāo)應(yīng)用有哪些來(lái)決定大模型的參數(shù)量。
科技新聞：我們都知道在云端跑大模型成本很高，那么在手機(jī)端側(cè)，具有AI能力的芯片成本會(huì)增加多少？用戶會(huì)不會(huì)對(duì)成本的增加有所感知？
陸忠立：以芯片成本來(lái)講，如果加上執(zhí)行大模型的能力，對(duì)于整個(gè)芯片來(lái)講會(huì)有一些成本的增加。芯片并不只是在執(zhí)行大模型，芯片里面有CPU、GPU、APU，還有各種不同功能的模組。剛剛講的大模型主要是增強(qiáng)在APU方面的性能和面積，所以對(duì)于整體的成本增加有限，以有限成本的增加換取整個(gè)大模型在端側(cè)執(zhí)行，可以讓使用者的體驗(yàn)有遠(yuǎn)超以往的改善。
二、摩爾定律失效了嗎？
科技新聞：當(dāng)生成式AI加上我們可能越來(lái)越復(fù)雜的游戲需求、拍照需求，對(duì)手機(jī)芯片的要求是不是越來(lái)越高了？摩爾定律失效了嗎？未來(lái)可能有哪些更好的方法去突破這種手機(jī)的芯片能力極限？
陸忠立：摩爾定律是18個(gè)月，或者是每24個(gè)月它的晶體管密度就會(huì)成倍，但是到了先進(jìn)制程我們看到整個(gè)趨勢(shì)是變慢下來(lái)，以目前來(lái)看的話，大概每年可能增長(zhǎng)20%到30%。從應(yīng)用層面來(lái)看，聯(lián)發(fā)科技也大概做了一些統(tǒng)計(jì)，以端側(cè)AI模型的復(fù)雜度來(lái)講，每年增加的幅度可能都是兩倍、三倍，甚至是十倍，所以看到這兩個(gè)的確是有蠻大的差距。
這個(gè)差距沒有辦法完全靠摩爾定律來(lái)彌補(bǔ)，所以就需要在硬件上面有所創(chuàng)新。另外更重要的，是在算法和軟件層面的創(chuàng)新。
當(dāng)然還有一些其他的做法，比如異構(gòu)集成，比如說(shuō)小芯片，或者是說(shuō)3D封裝，另外就是一些更先進(jìn)的技術(shù)路線的探索，比如光子計(jì)算、量子計(jì)算，這個(gè)都是未來(lái)的事情。
科技新聞：天璣9300，采用了全大核的設(shè)計(jì)，這個(gè)做法很激進(jìn)，也在嘗試突破摩爾定律的創(chuàng)新嗎？
如果芯片的性能，按照摩爾定律能夠一直很順利地提升性能，我們肯定會(huì)依據(jù)摩爾定律進(jìn)行技術(shù)迭代，這占的比例就會(huì)比較高。
如果說(shuō)摩爾定律提供的性能是比較有限，我們就需要在架構(gòu)上面做一些創(chuàng)新，全大核的架構(gòu)基本上從這個(gè)點(diǎn)開始出發(fā)的，同時(shí)我們的工程團(tuán)隊(duì)也的確能夠解決全大核的一些挑戰(zhàn)。
當(dāng)初我們遇到的兩個(gè)比較大的難題：第一個(gè)難題是在全大核狀況下怎樣平衡性能和能效。全大核性能一定會(huì)比較好，怎么做它的能效和熱管理就變得很重要的。
第二個(gè)問題，在一些比較日常的場(chǎng)景，對(duì)性能要求沒有那么高，如何讓能效達(dá)到最好，讓大核得到小核的功耗，后來(lái)我們也解決了這個(gè)問題，簡(jiǎn)單來(lái)講叫快開快關(guān)。
原來(lái)小核設(shè)計(jì)的理念就是讓它功耗盡量低，可能性能就會(huì)差一點(diǎn)。我們發(fā)現(xiàn)在全大核的設(shè)計(jì)下，我們可以把一些事情集中在一起，大核只要快開，開完把這些事情做完了，然后就關(guān)掉，讓它休眠，不用浪費(fèi)額外的功耗就可以達(dá)到小核的效果。所以說(shuō)一舉兩得，用全大核既能得到性能的好處，又不會(huì)損失掉低功耗的優(yōu)點(diǎn)。
所以發(fā)覺這兩件事情能夠克服，再加上我們經(jīng)過(guò)內(nèi)部的討論，還有跟客戶的討論發(fā)現(xiàn)，客戶對(duì)性能的要求也是越來(lái)越高。
所以我們?cè)趦赡昵熬蜎Q定后面要做全大核架構(gòu)，事實(shí)證明現(xiàn)在看起來(lái)是正確的，因?yàn)閼?yīng)用面也越來(lái)越復(fù)雜，游戲也越來(lái)越復(fù)雜，像最近講的生成式AI，對(duì)AI的應(yīng)用也越來(lái)越復(fù)雜，還有很多內(nèi)容創(chuàng)作也需要更強(qiáng)勁的大核，所以全大核的確是現(xiàn)在整個(gè)產(chǎn)業(yè)的一個(gè)趨勢(shì)。
我們內(nèi)部跟客戶談過(guò)以后對(duì)于未來(lái)性能的預(yù)期，因?yàn)樵谑謾C(jī)界常常講，每年CPU、GPU、APU都要成長(zhǎng)多少的百分比，這樣才能夠提供給客戶。
科技新聞：大概多少百分比呢？
陸忠立：看需求，AI的需求會(huì)比較高一點(diǎn)，百分比會(huì)比較高，在30%到50%左右，CPU和GPU可能會(huì)稍微低一點(diǎn)，因?yàn)橹俺砷L(zhǎng)很快，現(xiàn)在越來(lái)越困難，所以百分比就會(huì)比AI低一點(diǎn)。
科技新聞：天璣9300可以支持33B（330億參數(shù)）的大模型在端側(cè)運(yùn)行，運(yùn)行33B是一種什么樣的狀態(tài)呢？是不是這個(gè)芯片別的都不做，就完全只跑端側(cè)大模型這一件事能夠運(yùn)行330億參數(shù)？
陸忠立：這件事要分成兩個(gè)層面來(lái)看：一個(gè)是能不能做得到；另外就是它跑得順暢不順暢。33B在手機(jī)上面能夠跑，但是它跑出來(lái)的結(jié)果和速度并不是馬上可以應(yīng)用到，不過(guò)這是手機(jī)能力的一個(gè)展現(xiàn)。
7B跟13B可以在手機(jī)上跑，基本上也可以給用戶很好的體驗(yàn)，所以有一些是比較前瞻性的東西，我們要在芯片上先準(zhǔn)備好，當(dāng)然這是第一階段，能不能跑。第二階段，跑得快不快。第三階段就是準(zhǔn)確率高不高，這是一個(gè)漸進(jìn)式的過(guò)程。
科技新聞：天璣9300和天璣8300都可以支持AI能力了，是不是未來(lái)不僅僅是旗艦機(jī)，在中低端手機(jī)也希望能夠搭載大模型的能力？
陸忠立：對(duì)。旗艦機(jī)能夠執(zhí)行大模型，我覺得這只是一個(gè)開始而已，我們希望AI能夠普惠化。當(dāng)然這個(gè)有賴于剛剛提到的摩爾定律會(huì)讓晶體管越來(lái)越多，另外就是因?yàn)樗惴ā⑺懔Φ囊恍└纳�，能夠讓一些模型能夠用比較少的資源就能夠執(zhí)行。
三、未來(lái)端側(cè)大模型的應(yīng)用將如何演進(jìn)
科技新聞：總結(jié)一下把大模型裝進(jìn)可能需要哪些關(guān)鍵的步驟？
陸忠立：這有點(diǎn)像當(dāng)初遇到的一個(gè)問題，把長(zhǎng)頸鹿放到冰箱里，第一步先打開冰箱，然后塞進(jìn)去。其實(shí)到后來(lái)也就是這個(gè)樣子，一開始發(fā)現(xiàn)說(shuō)塞不進(jìn)。我們從去年（2022年）開始就已經(jīng)有看到大模型這件事情，那時(shí)候覺得離手機(jī)來(lái)講還是有點(diǎn)遠(yuǎn)。因?yàn)槟菚r(shí)候的模型就是ChatGPT，大概1750億參數(shù)，跟手機(jī)能夠做的實(shí)在相差很遠(yuǎn)。不過(guò)我們還是有一直在關(guān)注這件事情，我們事實(shí)上從2019年就開始在基于Transformer模型在做一些應(yīng)用，跟我們的客戶端在很多視頻及拍照?qǐng)鼍熬陀新涞亍?/p>
所以后來(lái)看到大模型也是基于Transformer的架構(gòu)，所以我們也在思考有沒有可能把這樣的東西放到端側(cè)。只是說(shuō)那時(shí)候覺得距離差得很遠(yuǎn)。
直到特別的EurekaMoment（尤利卡時(shí)刻），就是Meta發(fā)布了它的模型Llama，包含7B、13B、70B，這個(gè)看起來(lái)就近了很多，所以我們那時(shí)候就決定要全力投入，看看怎么樣把這樣的模型能夠放到端側(cè)。大概的一個(gè)起心動(dòng)念是這個(gè)樣子。
回到我們說(shuō)的手機(jī)大模型，即使7B，其實(shí)跟原來(lái)的手機(jī)AI模型也差距很大。原來(lái)的手機(jī)AI模型，參數(shù)量一般來(lái)講大概是在1000萬(wàn)參數(shù)以內(nèi)，到目前的手機(jī)端側(cè)大模型最小的1B也已經(jīng)是10億，所以基本上要加上100倍的樣子。如果你要更大一點(diǎn)，就要1000倍。如何把這樣的模型放到端側(cè)，研發(fā)同仁花了很多的時(shí)間去想辦法拆解，這是第一步。
第二個(gè)是整個(gè)生態(tài)系，因?yàn)樗荗pen（開源）的模型，非常給力，很快我們把原來(lái)浮點(diǎn)的運(yùn)算轉(zhuǎn)換成整數(shù)運(yùn)算，模型大小實(shí)際上也縮減的很快。
基于開源生態(tài)的發(fā)展，我們把生態(tài)系的東西再進(jìn)一步簡(jiǎn)化、剪枝、壓縮，然后放到手機(jī)里面。大概是這樣一個(gè)過(guò)程。
當(dāng)然這個(gè)放進(jìn)去，就像把大象放到冰箱是第一步而已。第二步是放到冰箱到底要干嗎？跑起來(lái)要順暢，所以后來(lái)主要專注的事情就是怎么樣讓它能夠跑得順、跑得準(zhǔn)。放進(jìn)去是第一件事情，然后再就是跑得順、跑得準(zhǔn)。
科技新聞：跑得順、跑得準(zhǔn)是不是主要還是硬件方向？硬件和廠商一起共同合作嗎？
陸忠立：其實(shí)硬件、軟件都要，以及跟廠商合作。因?yàn)槎藗?cè)大模型準(zhǔn)不準(zhǔn)是廠商說(shuō)了算，他們知道要問什么問題或者什么應(yīng)用，以及要什么樣的答案，那都是由廠商這邊的QC或者QA還有RD來(lái)決定。聯(lián)發(fā)科技的角度就是提供平臺(tái)，提供對(duì)應(yīng)的工具鏈，能夠讓客戶跑得順。如果結(jié)果準(zhǔn)確度有什么問題，大家一起來(lái)討論怎么來(lái)解決這個(gè)問題。
科技新聞：除了智能手機(jī)，您認(rèn)為現(xiàn)在還有哪些很重要的終端可能會(huì)首先被AI大模型改變？
陸忠立：這是很好的問題。我們自己判斷會(huì)有三類重要的終端。第一是剛剛提到的智能手機(jī)；第二就是PC，現(xiàn)在都有所謂的AIPC的出現(xiàn)，也是讓你的PC更有智能，可以做更多內(nèi)容的創(chuàng)作和生產(chǎn)力的提升；第三個(gè)很有潛力的是在車用，主要像新能源車，因?yàn)樗芴峁└玫氖褂谜叩捏w驗(yàn)跟自然語(yǔ)言交互的界面，會(huì)讓你跟汽車的互動(dòng)變得更方便。我們覺得大概這三個(gè)會(huì)直接受到大模型的影響或者助力。當(dāng)然，隨著時(shí)間的推移，還會(huì)再傳播到其他的終端。
科技新聞：未來(lái)在終端場(chǎng)景的應(yīng)用，我們知道手機(jī)高頻使用的功能是拍照片、拍視頻，大家去進(jìn)行語(yǔ)音對(duì)話。這些場(chǎng)景天然就是多模態(tài)的，未來(lái)端側(cè)大模型的應(yīng)用將如何演進(jìn)？
陸忠立：我們判斷大概分成三步走：第一步就是現(xiàn)在的大語(yǔ)言模型，主要就是文本進(jìn)、文本出。第二步就是現(xiàn)在已經(jīng)在發(fā)生的，就是所謂多模態(tài)。因?yàn)閯倓傊v這種大語(yǔ)言模型比較像人的大腦，有的時(shí)候是一本正經(jīng)，有的時(shí)候也會(huì)胡說(shuō)八道。不過(guò)再來(lái)就是要有更多的感官輸入，包含視頻、圖像、聲音進(jìn)來(lái)。產(chǎn)出的內(nèi)容也是一樣，不是只產(chǎn)生文本，也會(huì)產(chǎn)生視頻和圖像的輸出，這就是現(xiàn)在多模態(tài)在專注的事情。
因?yàn)槭謾C(jī)本來(lái)就是多模態(tài)的設(shè)備，這樣更能夠感受到整個(gè)環(huán)境的需求，比較深刻理解目前要做的一些任務(wù)或者一些事情，也會(huì)提供更多的服務(wù)。這就是現(xiàn)在看到的好幾家公司都已經(jīng)推出多模態(tài)的模型。
對(duì)于手機(jī)的算力來(lái)講的確會(huì)增加，因?yàn)槌嗽瓉?lái)處理文本以外，現(xiàn)在連圖像，甚至后面的視頻都會(huì)加進(jìn)來(lái)，所以算力的需求會(huì)更大，再就是內(nèi)存的容量和帶寬需求也會(huì)更大。
基于這些新的模型，也有一些新的做法。主要還是集中在剛剛講的兩方面，一些是硬件的演進(jìn)，突破算力。第二個(gè)非常重要，甚至有時(shí)候更重要的是在算法上面的改進(jìn)。這些算法的改進(jìn)，就讓這些多模態(tài)的大模型能夠在端側(cè)執(zhí)行。第三步就是到智能體的部分，除了剛剛講的能夠多模態(tài)進(jìn)來(lái)以后，還能善用工具或者善用APP執(zhí)行任務(wù)。
