文 / 郝博陽 郭曉靜 吳彬
AI未來指北課代表系列AI大事兒最全、最快拆解。本文探索蘋果Apple Intelligent背后的技術(shù)及其對未來AI手機行業(yè)的可能影響
蘋果在大模型時代落后了嗎？幾乎所有人都希望在蘋果WWDC24上找到這個答案。然而，在最重要的主題演講環(huán)節(jié)之后，爭議也紛至沓來：發(fā)布會前半部分是被戲謔為“追趕安卓”的小功能集合，后半部分最重磅的AI，從表面上看和安卓手機目前已經(jīng)對外發(fā)布的AI能力大差不差，被很多人認為“沒有驚喜”。段子開始在網(wǎng)上傳播：“WWDC24最大的驚喜是蘋果給iPad帶來了一個新的計算器”。
雖然真正意義上的AI硬件還沒有出現(xiàn)，但是大模型可能成為未來端側(cè)設(shè)備中等同于操作系統(tǒng)的“核心”，已經(jīng)成為行業(yè)中的某種共識。這樣重要的大模型能力，蘋果到底有沒有？蘋果在AI時代，難道真的要靠OpenAI這樣的第三方大模型公司了嗎？
主題演講的當天，蘋果的股價下跌了1.9%，這似乎符合外界對于這場發(fā)布會的”平淡“評價。然而，戲劇性的事情出現(xiàn)了，蘋果股價在主題演講的第二天，暴漲7%創(chuàng)出歷史新高。資本市場是市場合力的體現(xiàn)，對于蘋果3.18萬億的巨大市值體量來講，資金背后情緒的巨大反差，值得引起關(guān)注。
順著之前的爭議焦點，我們將關(guān)注點集中到了兩份資料：一份資料是蘋果在官網(wǎng)低調(diào)發(fā)布的大模型技術(shù)文檔，其中有很多值得深挖的細節(jié)。另外一份是科技新聞在現(xiàn)場的同事，發(fā)回的一份筆記，筆記記錄了主題演講之后舉辦的一個不起眼的閉門對談內(nèi)容，對話的兩個人是“蘋果公司的軟件工程高級副總裁雷格-費德里吉（Craig Federighi）和蘋果公司機器學習和人工智能戰(zhàn)略高級副總裁約翰-吉安南德雷亞（John Giannandrea），他們二位都直接向CEO庫克匯報。對話的內(nèi)容包括為何與OpenAI合作以及如何保護隱私等。
本文圍繞這兩份資料，試圖抽絲剝繭地探究一下，蘋果的“大模型競爭力”究竟怎樣。
重點有兩個：
1、蘋果自研大模型的能力很強；
2、OpenAI并沒有為Apple Intelligence提供支持，兩者完全獨立。Apple Intelligence完全由Apple自研模型提供支持。
一、深挖蘋果發(fā)布的模型技術(shù)文檔：兩個新確定的信息，可能才是這次發(fā)布最重要的點
首先是信息逐漸清晰：有兩個在發(fā)布會上并沒說明的信息，在發(fā)布會后逐漸清晰化。
1.
蘋果低調(diào)發(fā)布了自研模型：不僅有端側(cè)的小模型，還有云端大模型
在Keynote上，蘋果一直在講擁有了AI能力的端側(cè)設(shè)備，能帶給用戶多么神奇的應(yīng)用體驗。但是這些模型到底是誰家的？哪些是蘋果自研的，哪些是和OpenAI合作的？雖然承諾了隱私安全，但是究竟具體如何保障？馬斯克連發(fā)推怒懟蘋果如果集成了OpenAI，將在公司禁用蘋果。但是蘋果整場主題演講下來，我們都沒找到明確答案。
直到發(fā)布會后，它發(fā)布了一篇技術(shù)博客，并在State of Union上公布了它會在蘋果設(shè)備上用的模型細節(jié)：端和云模型，都是蘋果自己開發(fā)的。
自研大模型趕上GPT4
具體來看，蘋果設(shè)備上的端側(cè)模型是一個30億參數(shù)（3B）的小模型，云上模型具體參數(shù)蘋果沒有公布。這兩個模型的性能都相當能打。
3B級小模型和主流幾個7B級模型能力上蘋果都能基本勝出（勝出+平手概率>50%)。而其云端模型則直接打到了GPT-4 Turbo級（勝出+平手概率58.3%）。
這一發(fā)布可能才是整個蘋果這波更新里最大的核彈：蘋果自研出了GPT4級大模型，而且一出場就已經(jīng)成熟到可以直接接入蘋果的軟硬件體系內(nèi)了。
這意味著之前對蘋果模型能力的質(zhì)疑完全不成立。蘋果現(xiàn)在不用依靠外部模型公司就能構(gòu)建出自己內(nèi)部閉環(huán)的AI系統(tǒng)。這是除了谷歌之外的其他手機廠商當下完全無法做到的。
這就是蘋果把OpenAI只列為之一，而且是作為外部調(diào)用的模型之一的底氣。
端側(cè)小模型強優(yōu)化
另外說說端側(cè)模型，在發(fā)布會上蘋果強調(diào)大多數(shù)Apple Intelligents的操作都會在端側(cè)模型上完成。但在發(fā)布會后所有人幾乎都在質(zhì)疑，一個3B大小的模型是不是能真的完成發(fā)布會上展示的那些功能。
首先，3B大小的端側(cè)模型落地其實已經(jīng)很不容易了。
看看蘋果的競品們的表現(xiàn)吧：谷歌在去年12月首次把其端側(cè)模型Gemnini Nano部署到旗艦手機Pixel 8 Pro上，它的參數(shù)大小不過是1.8B，而且能力非常局限。三星S24在端側(cè)也用的是Gemnini Nano。要知道Pixel 8 Pro具有12G內(nèi)存，直到今年5月谷歌剛剛才能讓8G內(nèi)存的Pixel 8 和 8a也跑上這個1.8B的模型，還要下個月才能真正升級部署。而其他手機廠商部署的端側(cè)模型基本上都是在1B級別的參數(shù)規(guī)模。
而蘋果做到了讓自己8G內(nèi)存的iPhone 15 Pro跑起來一個3B參數(shù)的模型。這工程能力就甩出競爭對手一個身位。
在這之前，蘋果已經(jīng)為此做足了準備，在去年12月引起轟動的論文《LLM in a flash: Efficient Large Language Model Inference with Limited Memory》里，蘋果就提出了解決小內(nèi)存運行大模型的方法，使用窗口化（Windowing）以及行列捆綁（Row-Column Bundling）兩項關(guān)鍵技術(shù)，來最小化數(shù)據(jù)傳輸和最大化閃存吞吐量。
在這次的技術(shù)文檔中，蘋果還提到了他們在模型框架中用上了分組注意力查詢（grouped-query-attention）和LoRA適應(yīng)器框架。這兩項技術(shù)一個避免重復(fù)映射，一個可以壓縮推理過程，都可以有效降低內(nèi)存占用和推理成本。
另外，為了保證AI模型的運作不至于大幅降低手機功耗，蘋果還配上了功耗分析工具 Talaria，及時優(yōu)化功耗。
在這一系列操作之下，3B模型的端側(cè)部署才成為了可能。
其次，在這篇技術(shù)博客里，蘋果也展示了他們?nèi)绾稳ケＵ闲∧Ｐ偷慕桓赌芰Γ翰蝗�，但對具體任務(wù)做了加強。
具體來講，蘋果在基礎(chǔ)模型上加了很多微調(diào)的適配器。適配器是疊加在通用基礎(chǔ)模型上的小型模型權(quán)重集合。它們可以動態(tài)加載和交換，使基礎(chǔ)模型能夠根據(jù)當前任務(wù)實時進行針對性特殊化處理。蘋果智能包含一系列適配器，針對應(yīng)急判斷，總結(jié)，郵件回復(fù)等諸多發(fā)布會上上的功能都進行了精細調(diào)優(yōu)。
因此，至少端側(cè)模型可以較好的完成基本的摘要、寫郵件等最常見的工作。
綜合來看，蘋果在這次發(fā)布會上所展示出來的綜合模型能力基本可以說是遠超預(yù)期。從大模型到小模型都一躍進入了第一梯隊。
2.
只有新旗艦才能用上的AI，可能引發(fā)新的換機潮
另一個消息也很重要：雖然iOS18系統(tǒng)升級可以適用于iPhoneX以上的所有機型，但蘋果的AI功能只能適用在iPhone 15 Pro及以上機型，其它終端需要M1芯片以上的能力。這意味為了能用上AI，用戶可能必須要進行一波換機潮。
這其實也不是蘋果有意卡老用戶。端側(cè)大模型的運行瓶頸一方面是算力，一方面是內(nèi)存。對蘋果來說，算力問題可能反倒不是那么棘手。本次Apple Intelligent下放的產(chǎn)品從M1開始。M1芯片負責AI推理的NPU能力其實還比不上A16，但也足夠處理蘋果端側(cè)模型的推理需求了。那iPhone14 Pro乃至iPhone 15為什么不行？還是因為內(nèi)存不夠。
因為在模型進行推理過程中需要占用很大的運行內(nèi)存（DRAM），較小的內(nèi)存會嚴重拖慢推理速度甚至無法完成推理。因此iPhone 15 Pro及以上的蘋果手機才有的8G內(nèi)存，可能就是當下經(jīng)過一系列優(yōu)化的3B端側(cè)模型所需的最小內(nèi)存數(shù)。
但這件事本身也有著優(yōu)化的空間。昨天上交大發(fā)布的PowerInfer2手機推理框架就提出了進一步減小內(nèi)存占用的方法。GeminiNano下放到Pixel 8也說明了谷歌也在做一樣的努力。
但內(nèi)存需求小了，還有7B，14B的模型排隊等著上端。長遠來看，機還是不得不換。畢竟只有更大的端側(cè)模型才能帶來更多讓用戶買單的體驗?zāi)Хā?/p>
二、圓桌對話透露了和OpenAI的關(guān)系
既然蘋果自研的大模型能力如此強大，為何還要和OpenAI合作？蘋果公司的軟件工程高級副總裁克雷格-費德里吉（Craig Federighi）和約翰-吉安南德雷亞（John Giannandrea）在Keynote之后的閉門對話環(huán)節(jié)揭示了這個細節(jié)，科技新聞在WWDC現(xiàn)場的同事發(fā)回了這場對話的內(nèi)容記錄。“現(xiàn)有的擁有豐富公共信息的大語言模型，如ChatGPT，也有其用途。這些非常大的前沿模型有一些用戶很喜歡的有趣功能，我們將其集成到我們的體驗中可以使用戶體驗更豐富。“
考慮到這一點，Apple在WWDC官宣了與OpenAI合作，在其平臺上提供更強大的AI服務(wù)。然而，值得注意的是，OpenAI的ChatGPT并沒有為Apple Intelligence提供支持，兩者完全獨立。Apple Intelligence完全由Apple自研模型提供支持。
這就意味著，雖然Apple在WWDC現(xiàn)場官宣了和OpenAI的合作，但是這種合作并不是如外界猜測的，集成入蘋果系統(tǒng)中的。這種合作更像是和第三方大模型公司合作的一個范式，F(xiàn)ederighi解釋說Apple與OpenAI合作是因為GPT-4o目前是最好的LLM，但Apple可能會在未來與其他LLM提供商合作，允許用戶選擇外部LLM提供商。SamAltman的態(tài)度也很曖昧，一向高調(diào)的他，在“如此重要”的合作達成之后，僅僅發(fā)布了一條推特。
圖注：傳言Sam Altman去了Apple Park，但是并沒有上臺的機會
根據(jù)Federighi所說，Apple Intelligence被設(shè)計為高度個性化的智能，需要利用個人設(shè)備上的數(shù)據(jù)，如照片、聯(lián)系人、消息和電子郵件等，執(zhí)行任務(wù)。當用戶有更復(fù)雜的AI請求時，OpenAI的ChatGPT可以發(fā)揮作用。例如，某人可以使用他們的Mac或iPhone向ChatGPT發(fā)送查詢，如果他們希望ChatGPT為他們編寫電影劇本。
而且，Apple在設(shè)計其與ChatGPT的集成時也采取了隱私優(yōu)先的思維。未經(jīng)用戶許可，任何用戶數(shù)據(jù)都不會發(fā)送到OpenAI。在任何請求發(fā)送到ChatGPT處理之前，用戶必須首先手動允許。“例如，我是醫(yī)生，我可能希望將來引入一個醫(yī)療模型；我是律師，我可能有一個專為法律工作精煉的模型，我想將其引入我的個人設(shè)備中。“蘋果認為這最終是將是對用戶在個人智能方面所做工作的很好補充。”
通過與OpenAI的合作探路，未來蘋果是否會像今天打造APP生態(tài)一樣，繼續(xù)在Apple的設(shè)備上引入百花齊放的模型，為用戶提供無比個性化和智能化的體驗？這些還是未知數(shù)，我們拭目以待。
三、打造未來的AI端側(cè)設(shè)備，蘋果有著先天的生態(tài)優(yōu)勢
雖然蘋果在WWDC上展示的這些應(yīng)用場景看起來并沒有多么神奇，但是不得不說，這些確實是用戶實際應(yīng)用中比較好的落地場景。比如iPadOS上筆記學習的功能，計算器全屏識別的功能，iOS上Gen emoji的能力等等，既有趣又有用。都是做應(yīng)用，但是蘋果顯然做的更討巧，更容易被用戶深度的感知到。
在發(fā)布會后，科技新聞主導(dǎo)的直播討論中，怒喵科技創(chuàng)始人李楠就表示：“蘋果的端側(cè)模型具有系統(tǒng)級別的權(quán)限和數(shù)據(jù)訪問能力。如果你問蘋果真的在AI能力上做到了什么？它是全行業(yè)第一個真正把手機本地的API與端側(cè)模型無縫銜接的，并且是全行業(yè)第一個真正把用戶個人數(shù)據(jù)拿給端側(cè)模型進行fine-tuning的。別的端側(cè)模型也想做這事兒，但是他們拿不到這些數(shù)據(jù)的訪問權(quán)限。蘋果的端側(cè)AI的核心技術(shù)能力一定會越來越強大。”
這種強大的本源力量來源于蘋果獨特的生態(tài)體系，這是安卓希望做而難以做到的，而蘋果可能是短時間內(nèi)，能打通所有硬件終端設(shè)備AI體驗和流轉(zhuǎn)的，唯一的一家公司。
這無疑是蘋果這么多年立足于科技行業(yè)頂端不曾跌落的重要的護城河。他們擁有極其堅實的生態(tài)壁壘，這不單單是產(chǎn)品和系統(tǒng)之間的，包括底層的芯片和開發(fā)工具，蘋果都可以做到完全的統(tǒng)一。
這幫助蘋果在端側(cè)AI時代，即便是后來者，也能提供前人無法實現(xiàn)的AI生態(tài)，甚至他們能提供更多的AI應(yīng)用生態(tài)場景，比如此次WWDC24上，蘋果就展示了包括AI生成emoji、AI驅(qū)動的數(shù)學備忘錄等等讓人眼前一亮的功能，這相對于很多廠商還只在宣傳AI摳圖能力相比，顯然會更加有吸引力。
“我們希望人工智能不是取代我們的用戶，而是增強他們的能力"�？死赘�-費德里吉在圓桌對話中談到蘋果對于AI的看法，”這與我們之前看到的人工智能都不盡相同“。
四、但問題也隨之而來，蘋果或許將在未來無數(shù)次的證明一件事
和OpenAI的關(guān)系確定之后，隨之而來的問題是”蘋果如何將已存在的用戶數(shù)據(jù)交給第三方，完成AI生成內(nèi)容的同時，保證它們的安全“。
這對于蘋果來說極其重要。
作為今年WWDC最重要的產(chǎn)品，克雷格-費德里吉在發(fā)布Apple Intelligence的時候，用了很重的篇幅去試圖告訴用戶，Apple Intelligence所打造的這種“端+私有云”對組合方式，是多么的安全。蘋果通過系統(tǒng)級的安全芯片加密，以及完全封閉的傳輸路徑，去保證這一點……
蘋果在主題演講中著重提及了這部分的流程，他們在系統(tǒng)中增加了一個開關(guān)，所有輸出到GPT-4o的內(nèi)容，都一定是用戶主動發(fā)起確認的內(nèi)容。
同時克雷格也在圓桌上表示蘋果處理用戶需求的過程，如果要上云，他們擁有一套獨立的加密算法，用戶數(shù)據(jù)脫敏，處理之后數(shù)據(jù)會隨即銷毀，蘋果對于這個過程中的數(shù)據(jù)是完全無法干預(yù)的。
蘋果希望通過這樣的方式方法，去告訴用戶這足夠安全。甚至他們還找到了一些獨立的安全研究人員，開放給他們Apple Intelligence的服務(wù)器，引入第三方去幫助他們證明用戶數(shù)據(jù)的安全是不會被泄露的。
但這依然沒能消除外界對于隱私數(shù)據(jù)安全外泄的擔憂，尤其是在Siri接入到GPT-4o之后，用戶數(shù)據(jù)如何脫敏、如何在蘋果-OpenAI-蘋果的這條傳輸路徑中不走錯路口等等問題，都一股腦的拋向了蘋果。
面壁智能首席研究員韓旭在和科技新聞的解讀直播中也表示了擔憂，他認為只要數(shù)據(jù)從蘋果傳給了第三方，無論是OpenAI的GPT還是Google的Gemini，蘋果可能都將會失去對于數(shù)據(jù)安全的控制權(quán)，這確實會對蘋果的隱私安全提出新的挑戰(zhàn)。
但好消息是，這并不是蘋果第一次面臨這樣的問題。
蘋果在選擇搜索供應(yīng)商的時候，曾經(jīng)陷入過類似的討論。當蘋果將Google確認為iPhone默認的（海外）搜索引擎時，曾經(jīng)就被質(zhì)疑如何保證用戶的隱私數(shù)據(jù)不被泄露。庫克在接受外媒專訪時，闡述的內(nèi)容和如今他們選擇OpenAI出奇的一致。
蘋果選擇Google，庫克表示谷歌在搜索引擎這一方面是做的最好的。
蘋果選擇OpenAI，克雷格也表示目前OpenAI是蘋果最好的選擇。
庫克在談及搜索引擎時，表示蘋果也在其中融入了很多的控制選項，如在Safari瀏覽器中開發(fā)了隱私瀏覽模式，并配有智能防跟蹤器等，來為用戶提供全方面的幫助。
而克雷格在談及AI時，更多的還只聊到了他們在端側(cè)+私有云的加密策略，但對于OpenAI的部分，顯然還沒有透露更多。
或許可以預(yù)見，在未來的很長一段時間里，蘋果都會無數(shù)次的證明，自己的AI策略是安全的，包括自己的和第三方的，這對于蘋果這家公司來說，是紅線。
