明敏 魚羊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
大模型趨勢，給與之相關(guān)的一切來了億點“小震撼”。
人工智能/機(jī)器學(xué)習(xí)平臺正是其中之一。
它與大模型趨勢緊密相關(guān)，能直接反映出各大云廠商的AI技術(shù)研發(fā)儲備水平，以及對最新趨勢的洞察和理解能力。
究竟誰家實力更強(qiáng)？正被業(yè)內(nèi)所津津樂道。
而技術(shù)風(fēng)向劇變之下，AI/ML平臺也有了新的評價標(biāo)準(zhǔn)。
國際權(quán)威機(jī)構(gòu)Forrester最新發(fā)布的“首份中國人工智能/機(jī)器學(xué)習(xí)平臺報告”，恰逢其時給出參考。
Forrester Research是一家獨立的技術(shù)和市場調(diào)研公司，其發(fā)布的主題報告在中國乃至全球范圍內(nèi)具有很高的市場認(rèn)可度。
其中The Forrester Wave類型兩年發(fā)布一次，是Forrester影響力最高的報告類型。
報告調(diào)研了國內(nèi)市場14家主流云廠商，包括百度智能云、阿里云、華為云、騰訊云等，從產(chǎn)品能力、戰(zhàn)略規(guī)劃和市場表現(xiàn)三個方面對其進(jìn)行評測。
基于25項細(xì)分標(biāo)準(zhǔn)的全面評估，F(xiàn)orrester將這14家主流廠商劃分為4個象限：領(lǐng)導(dǎo)者、優(yōu)秀表現(xiàn)者、競爭者和挑戰(zhàn)者。
具體亮點，一起來看。
新趨勢帶來哪些新標(biāo)準(zhǔn)
先來看報告的核心結(jié)論。
在這張象限圖里，以戰(zhàn)略水平為橫軸、產(chǎn)品能力為縱軸，按照領(lǐng)導(dǎo)者、優(yōu)秀表現(xiàn)者、競爭者和挑戰(zhàn)者四個象限進(jìn)行劃分，同時也體現(xiàn)了各家的市場表現(xiàn)。
各個象限的分布如下：
領(lǐng)導(dǎo)者（2個）、優(yōu)秀表現(xiàn)者（5個）、競爭者（4個）、挑戰(zhàn)者（3個）。
位于第一梯隊的分別是百度智能云和阿里云。其中，百度智能云表現(xiàn)亮眼，拿下綜合得分第一。
第二梯隊競爭最為激烈，5家廠商在象限圖中的位置非常緊湊。
如上結(jié)論是Forrester進(jìn)行25項評估后得出的結(jié)果。
而除了梳理當(dāng)下中國市場AI/ML平臺競爭格局外，F(xiàn)orrester更進(jìn)一步為評估AI/ML平臺提出新的標(biāo)準(zhǔn)參考。
以下三點最為關(guān)鍵：
全面的工具鏈
易用的加速器
規(guī)�；哪Ｐ瓦\(yùn)營（ModelOps）
為什么？
Forrester認(rèn)為，在生成式AI和大模型趨勢影響下，AI應(yīng)用落地被更進(jìn)一步重視，以推動生產(chǎn)力水平提高、加速業(yè)務(wù)創(chuàng)新。
在當(dāng)下的中國市場里，企業(yè)正迫切需要能在自身業(yè)務(wù)環(huán)境內(nèi)解決復(fù)雜問題的AI/ML平臺。
而想要滿足市場需求，如上提出的三個方面缺一不可。
其一，要有提供數(shù)據(jù)管理、模型訓(xùn)練和AI應(yīng)用開發(fā)能力的工具鏈。
這也是AI/ML平臺的核心。
Forrester提出平臺方不僅要關(guān)注模型構(gòu)建、訓(xùn)練評估方面的關(guān)鍵工具，還應(yīng)該重視AI應(yīng)用開發(fā)所需的工具。
比如面向?qū)I(yè)人員提供的AI框架、Notebook；面向業(yè)務(wù)人員的低代碼、可視化工具。
除此之外，數(shù)據(jù)管理工具對模型構(gòu)建也有重要影響。
其二，提供面向行業(yè)的易用加速器。
Forrester指出國內(nèi)市場大多公司都缺乏既懂AI算法又懂業(yè)務(wù)知識的工程師，這使得他們很難根據(jù)自身業(yè)務(wù)需求量身定制算法。
目前他們擁抱大模型趨勢的“姿勢”，要么是拿來大模型微調(diào)、要么是進(jìn)行提示工程。
所以，能加速AI模型構(gòu)建、應(yīng)用開發(fā)的加速工具非常關(guān)鍵。如可視化工具、低代碼開發(fā)等都能進(jìn)一步加速創(chuàng)新。
其三，通過大規(guī)模的模型運(yùn)營加速大模型落地。
模型運(yùn)營（ModelOps）包括模型部署、監(jiān)控、更新、自動化等方面，可解決模型漂移、性能下降、安全維護(hù)和模型更新等問題，提供A/B測試、自動調(diào)整、模型再訓(xùn)練等能力。
在企業(yè)擁抱大模型趨勢下，具備大規(guī)模模型運(yùn)營的AI/ML平臺能更好幫助企業(yè)開發(fā)部署管理AI模型，更進(jìn)一步推動企業(yè)數(shù)字化轉(zhuǎn)型、降本增效。
總結(jié)來看，一個AI/ML平臺想要成為新趨勢中的領(lǐng)先者，需要提供簡單易用的工具、滿足行業(yè)需求、并能加速企業(yè)應(yīng)用AI。
而更具體需要具備哪些能力，還得從當(dāng)下領(lǐng)先者身上展開分析。
如何躋身“領(lǐng)導(dǎo)者”象限？
在本次Forrester報告中，百度智能云的表現(xiàn)讓人眼前一亮。
它是唯二進(jìn)入到“領(lǐng)導(dǎo)者”象限的云廠商，同時還獲得綜合得分第一、9項細(xì)分評分第一。
產(chǎn)品能力方面，百度智能云在數(shù)據(jù)、訓(xùn)練、預(yù)測推理、應(yīng)用四個細(xì)分領(lǐng)域都處于領(lǐng)先水平。
同時在戰(zhàn)略維度和市場規(guī)模方面，百度也在其中多個項目獲得第一。
Forrester評價百度智能云為“中國基礎(chǔ)模型的先行者之一”：
百度智能云將ERNIE系列基礎(chǔ)模型嵌入到具有可靠產(chǎn)品路線圖的產(chǎn)品組合中，其圍繞PaddlePaddle的活躍生態(tài)系統(tǒng)能有效地吸引人工智能開發(fā)人員進(jìn)行共同創(chuàng)新。
其具體能力來自百度AI平臺，產(chǎn)品包括BML、EasyDL和百度智能云千帆大模型平臺等。
而以百度智能云AI平臺為例，便可更具體分析當(dāng)下AI/ML平臺想要在市場中占據(jù)領(lǐng)先身位，應(yīng)該具備哪些能力。
按照Forrester報告的劃分維度，具體能力可從五方面出發(fā)：數(shù)據(jù)、訓(xùn)練、預(yù)測推理、應(yīng)用和架構(gòu)。這也是AI模型開發(fā)應(yīng)用過程中最核心的五大要素。
首先來看數(shù)據(jù)方面。
在數(shù)據(jù)處理部分，百度AI平臺可同時處理結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)。
支持65種以上的數(shù)據(jù)可視化，包括餅圖、熱力圖、散點圖、地圖等。支持10+種過濾組件，用戶只需進(jìn)行簡單配置和拖拽，就能實現(xiàn)實時數(shù)據(jù)監(jiān)控、輔助決策。
同時還支持30+種數(shù)據(jù)格式標(biāo)注，提升建模環(huán)節(jié)中人力最為集中的標(biāo)注環(huán)節(jié)的效率。
值得一提的是，百度AI平臺提供了主動學(xué)習(xí)標(biāo)注能力，系統(tǒng)可以直接從數(shù)據(jù)集里分析圖片的模式，自動篩選出來最關(guān)鍵的圖片，提示有限標(biāo)注。
比如有10000張圖需要標(biāo)注，系統(tǒng)會將有特點的圖前置、有重復(fù)性的后置，這樣一來只標(biāo)注前3000張圖，后7000張就能自動標(biāo)好。
據(jù)介紹，這種方式平均可為企業(yè)用戶節(jié)省70-90%的人力。大幅降低了“人工智能”中人工的比例。
此外，在特征工程方面，百度AI平臺集成了專業(yè)級特征庫管理能力，提供特征的增刪改查、特征生產(chǎn)、特征共享、特征版本管理、數(shù)據(jù)驗證等功能。
支持批式、流式不同形式數(shù)據(jù)用于預(yù)測服務(wù)，這樣能保證模型訓(xùn)練和最終預(yù)測時特征一致，直接關(guān)乎模型的準(zhǔn)確性高低。
以上能力反映到具體數(shù)字層面，F(xiàn)orrester報告給百度AI平臺的數(shù)據(jù)能力打分為5（滿分），大幅領(lǐng)先于其他廠商。
其二是模型訓(xùn)練環(huán)節(jié)。
這也是最新趨勢中市場需求最明顯的方面之一，它的受眾不僅有專業(yè)開發(fā)者，還包括對AI算法并不專長的業(yè)務(wù)人員，所以這要求提供能力的AI/ML平臺要足夠易用和靈活。
參照百度AI平臺的做法。
一方面是重視“廣度”，支持多種數(shù)據(jù)的建模和訓(xùn)練，如圖像、視頻、文本、語音等。
建模方式也很靈活，支持Notebook/WebIDE開發(fā)、拖拽式可視化開發(fā)、腳本調(diào)參、自定義作業(yè)等多種建模方式，可以面向不同專業(yè)水平人群，完成高精度模型的定制開發(fā)。
另一方面是“深度”。在自家飛槳算法團(tuán)隊的支持下，百度AI平臺對大量的場景算子做了深度優(yōu)化。包括圖像分類、物體檢測、文本分類、序列標(biāo)注等方面。
比如基于Paddle算子進(jìn)行深度優(yōu)化的PP YOLO，效果已經(jīng)超越了目標(biāo)檢測領(lǐng)域標(biāo)桿YOLO V3。
易用性也是一大重點。在百度AI平臺上可以實現(xiàn)零代碼建模和可視化建模。前者只需用戶上傳數(shù)據(jù)、選擇類型即可開始建模；后者通過拖拉拽拼接組件、設(shè)置各個部分參數(shù)即可組配出一個建模流程。
另外，當(dāng)下AI計算量正以每年至少10倍的速度增長，深度學(xué)習(xí)訓(xùn)練中調(diào)整任務(wù)資源的能力也變得尤為重要。百度AI平臺支持多機(jī)多卡分布式訓(xùn)練，并提供多種類型算力資源。
加上百度本身就有訓(xùn)練超大模型的豐富經(jīng)驗，在視覺大模型、生成式AI等方面能都整合了自身能力。如可以進(jìn)行自動超參數(shù)搜索、不平衡數(shù)據(jù)自動處理、超大規(guī)模預(yù)訓(xùn)練等。
由此在百度AI平臺上，也能看到非常多開發(fā)工具，用來提升編程效率。
第三個能力維度是推理。
隨著大模型趨勢發(fā)展，推理市場還將進(jìn)一步擴(kuò)大、甚至呈指數(shù)級趨勢增長，這給AI/ML平臺也提出很大挑戰(zhàn)。
從百度AI平臺的做法來看，他們主要關(guān)注了開發(fā)效率、性能優(yōu)化、靈活度、廣泛度幾個方面。
其推理模塊Model Serve支持16種AI框架，包括最常見的Paddle、Tensor Flow、PyTorch，以及科學(xué)計算方面的Matlab/R，機(jī)器學(xué)習(xí)方面的Xg boost等。
性能優(yōu)化方面，通過在調(diào)度層上直接抽象出來一個異步推理調(diào)度器，實現(xiàn)推理Worker異構(gòu)，將整個服務(wù)器性能和GPU利用率提高1倍以上。
同時支持自動化批處理，對不同長度任務(wù)進(jìn)行分類，將大小類似的任務(wù)編入同一個batch以充分利用異構(gòu)資源，這種方式在異步解耦的基礎(chǔ)上, 還能再提升70%效率。
第四方面需要關(guān)注的是應(yīng)用。
報告中的應(yīng)用主要考察各平臺的應(yīng)用效率。
即如何才能利用現(xiàn)有資源, 快速地將數(shù)據(jù)轉(zhuǎn)化為企業(yè)生產(chǎn)力。
百度AI平臺可以提供從數(shù)據(jù)采集清洗，到模型開發(fā)訓(xùn)練、模型管理，再到云端及離線推理服務(wù)管理等AI開發(fā)過程的全生命周期管理能力。
值得一提的是，百度AI平臺是國內(nèi)第一家達(dá)到信通院MLOps標(biāo)準(zhǔn)旗艦級的平臺。
目前百度AI平臺的能力已經(jīng)向金融、能源、交通等行業(yè)輸出。服務(wù)浦發(fā)銀行、北京銀行，以及國家電網(wǎng)、南方電網(wǎng)等。
2022年，百度智能云AI平臺公有云付費(fèi)用戶數(shù)增長49%，私有化客戶數(shù)增長32%，開發(fā)者增加了122.8萬，增長率40%左右；復(fù)購率連年上升，在重點行業(yè)中復(fù)購率已經(jīng)達(dá)到50%。
最后在架構(gòu)維度上，百度AI平臺的架構(gòu)設(shè)計在Forrester評分中獲得了滿分。
如果用一句話總結(jié)，百度AI平臺達(dá)到“領(lǐng)導(dǎo)者”水平，就是做到了：
算法多、工具多、運(yùn)行快、效果好，還節(jié)省服務(wù)器和人力，同時保障安全和易用。
而通過對百度AI平臺整體能力的分析就不難發(fā)現(xiàn)，其中很多工具、構(gòu)思都正符合當(dāng)下大模型趨勢的新需求。
實際上，在技術(shù)風(fēng)向劇變的背景下，不僅對已有架構(gòu)調(diào)整以適應(yīng)需求變化，提出新的應(yīng)對之道，也是趨勢使然。
大模型時代，云上AI新競爭格局初定
所以，大模型浪潮沖擊，市場對AI/ML平臺的需求究竟發(fā)生了哪些新變化？
在過去，CV、NLP的諸多模型雖有SOTA之名，在產(chǎn)業(yè)界卻仍更多被用在非核心業(yè)務(wù)上。而現(xiàn)在，大模型憑借其顛覆傳統(tǒng)工作流的驚人能力，開始受到越來越多認(rèn)可，被認(rèn)為是突破各行業(yè)智能化瓶頸的關(guān)鍵所在。
但對于云廠商而言，這并不意味著，大模型時代之于小模型時代，是“從零再出發(fā)”。
實際上，隨著大模型應(yīng)用的深入，Agent（智能體）等技術(shù)領(lǐng)域越來越受到關(guān)注。核心在于，大模型基于自身能力，在實際應(yīng)用中連接調(diào)度成熟的小模型去解決問題，這樣的模式被認(rèn)為在生產(chǎn)場景中落地更快、更具價值。
因此，在大模型開啟的“新時代”里，對于AI/ML平臺的“領(lǐng)導(dǎo)者”而言，小模型時代的技術(shù)積淀和大模型時代的技術(shù)創(chuàng)新，兩者是相輔相成，缺一不可的。
百度AI平臺在“新時代”交出的答卷百度智能云千帆大模型平臺就是一例。
作為一個一站式企業(yè)級大模型平臺，百度智能云千帆平臺本質(zhì)上是百度在芯片層、框架層、模型層和應(yīng)用層均有深度積累后的產(chǎn)物。
具體體現(xiàn)在五個方面：
第一，在算力層面，百度智能云千帆平臺可以提供高效、高性價比的異構(gòu)算力服務(wù)。
在大模型訓(xùn)練環(huán)節(jié)，通過分布式并行訓(xùn)練策略和微秒級互聯(lián)能力，百度千帆平臺上萬卡規(guī)模集群訓(xùn)練的加速比可以達(dá)到95%。同時萬卡集群有效訓(xùn)練時間占比能達(dá)到96%，大幅降低算力和時間成本。
第二，在模型層面，百度千帆平臺納管了包括文心大模型、Llama系列、ChatGLM等在內(nèi)的44個國內(nèi)外主流大模型，支持用戶快速調(diào)用API，直接獲取大模型能力。
對于第三方大模型，百度千帆平臺還針對性地進(jìn)行了優(yōu)化，包括中文增強(qiáng)、性能增強(qiáng)、上下文增強(qiáng)等等。
百度透露，百度千帆平臺的大模型API調(diào)用量正持續(xù)高速攀升。目前，百度千帆平臺已經(jīng)服務(wù)了超過2萬家客戶。
第三，對于希望基于現(xiàn)有大模型進(jìn)行二次開發(fā)的客戶，百度千帆平臺為大模型的再訓(xùn)練、微調(diào)、評估和部署等環(huán)節(jié)提供全生命周期工具鏈，以及41個高質(zhì)量數(shù)據(jù)集，能實現(xiàn)針對具體業(yè)務(wù)場景的模型快速調(diào)優(yōu)。
第四，在應(yīng)用層面，針對企業(yè)基于大模型開發(fā)AI原生應(yīng)用的需求，百度千帆平臺提供了一系列能力組件和框架。
比如，內(nèi)置226個Prompt模板，讓開發(fā)者在不熟悉提示工程的情況下，也能快速讓大模型的回答質(zhì)量更上一層樓。
而在10月17日的百度世界大會上，百度智能云還發(fā)布了“百度千帆AI原生應(yīng)用開發(fā)工作臺”。具體而言，這個“工作臺”由兩部分組成：應(yīng)用組件+應(yīng)用框架。
應(yīng)用組件服務(wù)由AI和基礎(chǔ)云兩大類組件構(gòu)成。
其中AI組件，即大模型能力的組件化封裝，包含問答、思維鏈（CoT）等大語言模型組件，以及文生圖、語音識別等多模態(tài)組件。
基礎(chǔ)云組件，則包含向量數(shù)據(jù)庫、對象存儲等傳統(tǒng)云服務(wù)能力。
應(yīng)用框架則面向具體的場景任務(wù)，可以理解為以大模型能力為基礎(chǔ)，上述應(yīng)用組件的有效組合應(yīng)用。
目前，百度千帆平臺提供了檢索增強(qiáng)生成（RAG）和智能體（Agent）等常用的AI原生應(yīng)用框架。
其中，RAG框架可以把企業(yè)專有領(lǐng)域內(nèi)的知識，和大模型問答能力結(jié)合起來，對專業(yè)知識做出更為精準(zhǔn)的回答。
三一重工就基于這一RAG框架，快速實現(xiàn)了官網(wǎng)智能客服應(yīng)用的開發(fā)和上線。
百度集團(tuán)執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖透露，搭建這樣一個“小助手”，即使需要處理幾千篇萬字長文檔，成本也只需幾百塊錢；之后用戶每次資訊，成本僅需幾分錢。
基于Agent框架，大模型則可以對人類給定的任務(wù)進(jìn)行自動拆解，自動規(guī)劃并調(diào)用各種組件協(xié)同完成任務(wù)，同時根據(jù)任務(wù)完成效果自我反饋，改進(jìn)自身能力。
目前，中天鋼鐵已基于這一Agent框架，打造了智能化的“企業(yè)調(diào)度中樞”，實現(xiàn)了任務(wù)指令的自動感知、分解和執(zhí)行。
比如，在發(fā)現(xiàn)鋼鐵產(chǎn)量不達(dá)標(biāo)時，只需提問一次，大模型就可以自動調(diào)用平臺納管的各種資源和API，找出未達(dá)標(biāo)原因，及時調(diào)整排產(chǎn)計劃并發(fā)送郵件通知調(diào)度人員。
最后，百度千帆還上線了“AI原生應(yīng)用商店”，連接起了AI原生應(yīng)用的供應(yīng)方和需求方，提供了一個大模型商業(yè)機(jī)會的匯集地。
不難看出，一方面，百度智能云千帆大模型平臺的快速推出得益于百度自身大模型技術(shù)的發(fā)展；另一方面，百度AI平臺多年以來積累的產(chǎn)品能力，以及豐富的工業(yè)界實踐經(jīng)驗，使得百度千帆平臺在應(yīng)用側(cè)率先發(fā)揮出了實效。
根據(jù)IDC數(shù)據(jù)，2022年中國AI公有云服務(wù)市場逆市呈現(xiàn)出80.6%的正增長，整體市場規(guī)模達(dá)到79.7億元人民幣。
IDC分析認(rèn)為，生成式AI、大模型的落地目前正處于起步階段，這些能力在公有云上能看到更快速的更新迭代，短期內(nèi)將為AI公有云服務(wù)帶來明顯利好。
Gartner也指出，生成式AI由大模型驅(qū)動，這就對計算基礎(chǔ)設(shè)施提出了強(qiáng)大、高可擴(kuò)展的要求。“云提供了完美的解決方案和平臺，生成式AI競賽的關(guān)鍵參與者必然是頭部云廠商。”
結(jié)合Forrester這份最新報告，可以看出對于云廠商而言，AI云服務(wù)已經(jīng)成為新的競爭焦點。
而競爭力如何衡量，現(xiàn)在評價的標(biāo)準(zhǔn)也逐漸清晰。
歸結(jié)起來，核心還是兩個方面：
其一，站在開發(fā)者、企業(yè)用戶的角度，是依托于AI云服務(wù)平臺的能力，能否真正高性價比地解決復(fù)雜業(yè)務(wù)中面臨的實際問題，以及智能化升級過程中，尤其是大模型浪潮下專業(yè)人才短缺的問題。
其二，從技術(shù)趨勢的角度來講，是跟大模型更為緊密的結(jié)合。
百度AI平臺的布局，可以視作這種最新競爭格局變化之中，頭部AI云廠商給出的一份參考答案。
至于成效如何？更多的落地案例中，可見真章。
