大模型和MaaS概念的出現(xiàn)，定義了以模型為中心的一整套AI開發(fā)新范式，而這背后日益增長的巨大算力需求，對AI工程底座提出了新的挑戰(zhàn)。今天，大模型時代下的人工智能+大數(shù)據(jù)平臺，需要具備計算效率、開發(fā)效率、處理效率為一體的高效能力，才能保障服務(wù)AI時代下的業(yè)務(wù)創(chuàng)新。
10月31日，2023云棲大會上，阿里云計算平臺事業(yè)部負(fù)責(zé)人汪軍華宣布阿里云人工智能+大數(shù)據(jù)平臺升級發(fā)布，以服務(wù)大模型時代下各行各業(yè)的業(yè)務(wù)創(chuàng)新。
高性能的AI基礎(chǔ)設(shè)施，讓計算效率達(dá)到極致
根據(jù)OpenAI測算，全球用于頭部AI模型訓(xùn)練的算力需求以每年10倍的速度增長，計算需求處于持續(xù)爆發(fā)中。汪軍華介紹，PAI靈駿智算集群在網(wǎng)絡(luò)、存儲、調(diào)度上做了深度優(yōu)化，采用HPN 7.0新一代AI集群網(wǎng)絡(luò)架構(gòu)，存儲計算分離架構(gòu)，支持高達(dá)10萬卡量級的集群可擴(kuò)展規(guī)模，讓超大規(guī)模集群像1臺計算機(jī)般運(yùn)轉(zhuǎn)。
軟硬一體的智算服務(wù)PAI靈駿，為大規(guī)模深度學(xué)習(xí)訓(xùn)練場景提供穩(wěn)定和高效的支撐，大模型訓(xùn)練任務(wù)線性加速比可達(dá)到96%，大模型訓(xùn)練資源可節(jié)省超50%。在穩(wěn)定性保障方面，PAI靈駿智算服務(wù)配置了彈性容錯訓(xùn)練框架AIMaster和EasyCkpt模型自動保存與恢復(fù)能力，可讓千卡規(guī)模任務(wù)穩(wěn)定運(yùn)行3周以上。
面向大模型的推理服務(wù)場景，PAI體系化地整合模型系統(tǒng)聯(lián)合優(yōu)化、運(yùn)行時優(yōu)化、LLM領(lǐng)域優(yōu)化等能力，可將大語言模型推理吞吐提升3.5倍，大幅降低推理時延。單卡推理可支持的最大上下文長度達(dá)280K，超長的上下文推理將進(jìn)一步推動LLM涌現(xiàn)。
多形態(tài)、更靈活的AI開發(fā)模式，支撐多樣化需求
隨著需求的不斷涌現(xiàn)，AI開發(fā)者和AI開發(fā)需求越發(fā)細(xì)分。人工智能平臺PAI 4.0發(fā)布，全面降低大模型AI開發(fā)門檻，提供完善的需求支撐，提升開發(fā)效率。
不論是需要定義模型結(jié)構(gòu)和開發(fā)流程的深度學(xué)習(xí)開發(fā)者群體，還是有海量大規(guī)模計算任務(wù)的群體，亦或是需要高效快速串聯(lián)起訓(xùn)練推理任務(wù)的業(yè)務(wù)算法群體，都可以通過PAI來實(shí)現(xiàn)研發(fā)，包含各類熱門的計算框架、開源模型和開發(fā)場景，一站式地完成開發(fā)部署。
PAI靈積為廣大開發(fā)者提供了通過云上API服務(wù)，可以用于應(yīng)用模型開發(fā)和開發(fā)好的模型調(diào)用，允許開發(fā)者將大模型能力迅速集成到自己的業(yè)務(wù)和應(yīng)用中，在PAI-靈積平臺上，開發(fā)者不僅可以找到通義系列大模型（包括通義千問，通義萬相等等），也可以找到來自業(yè)界最優(yōu)秀的頭部大模型，包括ChatGLM，百川，Stable Diffusion等。
汪軍華宣布，今天這些模型都通過PAI 靈積上統(tǒng)一的API和SDK對廣大開發(fā)者開放，開發(fā)者只需要幾行代碼，就能迅速把這些不同類別的大模型的能力，集成到自己的應(yīng)用中去。
高效的數(shù)據(jù)服務(wù)提升大模型效果，大數(shù)據(jù)和AI更深融合
在機(jī)器學(xué)習(xí)開發(fā)過程中，80%的研發(fā)時間有用于數(shù)據(jù)準(zhǔn)備，數(shù)據(jù)質(zhì)量決定著大模型的效果，數(shù)據(jù)處理分析的重要性更加凸顯。大數(shù)據(jù)作為AI基礎(chǔ)設(shè)施的一部分，阿里云提供了從數(shù)據(jù)積累、清洗、建模、計算到服務(wù)的全套產(chǎn)品化方案，來節(jié)省AI開發(fā)過程中數(shù)據(jù)準(zhǔn)備的時間。
同時，大數(shù)據(jù)和AI進(jìn)行了更深度的融合。阿里云自研大數(shù)據(jù)處理平臺MaxCompute 全面升級DataFrame能力，發(fā)布分布式計算框架MaxFrame，100%兼容Pandas等數(shù)據(jù)處理接口，一行代碼即可將原生Pandas自動轉(zhuǎn)為MaxFrame分布式計算，打通數(shù)據(jù)管理、大規(guī)模數(shù)據(jù)分析、處理到ML開發(fā)全流程，打破大數(shù)據(jù)及AI開發(fā)使用邊界，大大提高開發(fā)效率。
大模型驅(qū)動的 AI 時代，AI 場景對數(shù)據(jù)時效性的要求也越來越高，F(xiàn)link+Paimon新一代實(shí)時湖倉方案，為用戶提供一站式數(shù)據(jù)入湖、實(shí)時加工和探查分析能力，拓展 Flink 在數(shù)據(jù)湖場景的實(shí)時計算能力，同時加速 AI 應(yīng)用。
全托管向量檢索服務(wù)DashVector正式發(fā)布，基于阿里云自研8年的高性能向量檢索內(nèi)核Proxima，提供具備水平拓展能力的云原生、全托管的向量檢索服務(wù)。Hologres、OpenSearch、Elasticsearch分別升級了向量能力，滿足不同場景下性能的提升。全新發(fā)布DataWorks Copilot，將大數(shù)據(jù)平臺的一站式統(tǒng)一元數(shù)據(jù)、統(tǒng)一調(diào)度、統(tǒng)一數(shù)據(jù)集成、統(tǒng)一數(shù)據(jù)建模與AI大模型能力全面結(jié)合， 將AI與業(yè)務(wù)充分融合，創(chuàng)造新價值。
在面向大模型時代整體大數(shù)據(jù)AI產(chǎn)品能力升級后，汪軍華宣布大數(shù)據(jù)AI產(chǎn)品全面完成Serverless化，致力于給客戶提供開箱即用、按需付費(fèi)的高性價比產(chǎn)品。作為大模型時代AI的基礎(chǔ)設(shè)施，阿里云人工智能+大數(shù)據(jù)平臺將堅定、持續(xù)的投入研發(fā)資源，服務(wù)各行各業(yè)的業(yè)務(wù)創(chuàng)新。
