近日在2023云棲大會(huì)上，阿里云開源大數(shù)據(jù)產(chǎn)品進(jìn)行了年度發(fā)布：E-MapReduce、Elasticsearch等開源大數(shù)據(jù)產(chǎn)品全面Serverless化；創(chuàng)新性推出Flink與Paimon搭檔的新一代流式湖倉(cāng)；擁抱AI，推出Milvus全托管服務(wù)，升級(jí)智能運(yùn)維工具EMRDoctor以及FlinkAdvisor。
核心組件全面Serverless化
在大會(huì)上，阿里云開源大數(shù)據(jù)平臺(tái)負(fù)責(zé)人王峰，回顧了阿里云開源大數(shù)據(jù)技術(shù)演進(jìn)路線：自2009年起，經(jīng)歷了以大數(shù)據(jù)上云為代表的1.0時(shí)代，以數(shù)據(jù)湖和實(shí)時(shí)化為代表的2.0時(shí)代，如今阿里云開源大數(shù)據(jù)平臺(tái)邁向了3.0時(shí)代，隨著云原生架構(gòu)的深入落地，已將開源大數(shù)據(jù)平臺(tái)的核心計(jì)算組件Flink、EMRSpark、StarRocks和存儲(chǔ)組件OSS-HDFS等全部實(shí)現(xiàn)Serverless化。
產(chǎn)品性價(jià)比飆升2倍
阿里云開源大數(shù)據(jù)產(chǎn)品總監(jiān)陳守元表示， 阿里云開源大數(shù)據(jù)產(chǎn)品通過(guò)底層技術(shù)優(yōu)化，包括集成倚天710芯片和自研引擎功能增強(qiáng)等，用戶使用成本大幅降低50%，引擎性能相比于開源版本提升1～3倍，綜合性價(jià)比提升超2倍。
黃金搭檔Flink+Paimon：新一代的流式湖倉(cāng)
數(shù)據(jù)分析正從傳統(tǒng)Hive模式向湖倉(cāng)架構(gòu)升級(jí) ，阿里云從大量實(shí)踐中推斷，實(shí)時(shí)化是湖倉(cāng)分析下一步的演進(jìn)方向。在這種技術(shù)趨勢(shì)下，阿里云基于黃金搭檔Flink+Paimon，打造出新一代的流式湖倉(cāng)新方案，為用戶提供一站式數(shù)據(jù)入湖、實(shí)時(shí)加工和探查分析能力，拓展數(shù)據(jù)湖場(chǎng)景的實(shí)時(shí)計(jì)算能力，F(xiàn)link批計(jì)算已在云上實(shí)現(xiàn)生產(chǎn)可用，支持湖上批量數(shù)據(jù)處理和作業(yè)調(diào)度。在5億條數(shù)據(jù)入湖場(chǎng)景中，與開源Hudi方案相比，阿里云流式湖倉(cāng)方案Upsert性能提升超過(guò)4倍，Scan性能提升超過(guò)10倍。
更智能的開源大數(shù)據(jù)
當(dāng)前AI全面爆發(fā)，阿里云開源大數(shù)據(jù)平臺(tái)也將AI技術(shù)引入大數(shù)據(jù)平臺(tái)體系中，升級(jí)了智能化運(yùn)維工具EMRDoctor、FlinkAdvisor，并已廣泛應(yīng)用于客戶和阿里云內(nèi)部平臺(tái)運(yùn)維，平均集群?jiǎn)栴}識(shí)別時(shí)間減少30% ，集群資源有效利用率提升75%，幫助阿里云開源大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)智能化運(yùn)維和數(shù)據(jù)管理。同時(shí)，阿里云推出了Milvus全托管服務(wù)，為多模態(tài)數(shù)據(jù)提供向量檢索能力，加速客戶AI應(yīng)用。
