簡(jiǎn)介：本文根據(jù)2023云棲大會(huì)演講實(shí)錄整理而成，演講信息如下
演講人：張治國(guó)|阿里云智能計(jì)算平臺(tái)研究員、阿里云MaxCompute負(fù)責(zé)人
演講主題：MaxCompute架構(gòu)升級(jí)及開放性解讀
活動(dòng)：2023云棲大會(huì)
MaxCompute發(fā)展經(jīng)歷了三個(gè)階段：MaxCompute1.0，主旨是達(dá)到大規(guī)模的數(shù)據(jù)處理能力，在性能和規(guī)模上提供給用戶一個(gè)分布式處理平臺(tái)；MaxCompute2.0，主旨是Serverless，強(qiáng)調(diào)彈性和性價(jià)比；MaxCompute3.0階段主旨一體化，包括湖倉(cāng)一體、離線實(shí)時(shí)一體化等。
在整個(gè)MaxCompute發(fā)展過程中，可以從五個(gè)維度看一下數(shù)倉(cāng)的發(fā)展趨勢(shì)；
1. 隨著現(xiàn)代數(shù)據(jù)驅(qū)動(dòng)各個(gè)不同業(yè)務(wù)的發(fā)展，數(shù)據(jù)規(guī)模越來越大；
2. 在不同規(guī)模下，應(yīng)用越來越多元化，其中包括數(shù)據(jù)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化，應(yīng)用隨著AI的興起，AI的應(yīng)用也越來越多，對(duì)數(shù)倉(cāng)的要求也會(huì)越來越高；
3. 數(shù)據(jù)的實(shí)時(shí)性、時(shí)效性要求越來越高，我們需要更多做數(shù)據(jù)實(shí)時(shí)大批量的流式導(dǎo)入、實(shí)時(shí)數(shù)倉(cāng)這方面的工作；
4. 對(duì)數(shù)據(jù)的準(zhǔn)確性要求也越來越高，我們需要大規(guī)模數(shù)據(jù)治理、質(zhì)量控制這方面的工作；
5. AI興起，大家都圍繞著數(shù)據(jù)來做業(yè)務(wù)決策，怎么從現(xiàn)有數(shù)據(jù)中產(chǎn)出更高的價(jià)值，這也是大家對(duì)數(shù)倉(cāng)發(fā)展的一個(gè)越來越高的要求；
圍繞這五個(gè)不同發(fā)展趨勢(shì)，阿里云提出MaxCompute4.0開放一體架構(gòu)，圍繞近實(shí)時(shí)，開放性、性價(jià)比、Data+AI一體化等多維度進(jìn)行升級(jí)。
MaxCompute4.0開放一體架構(gòu)，底層數(shù)據(jù)高并發(fā)、實(shí)時(shí)流式數(shù)據(jù)導(dǎo)入，數(shù)據(jù)同時(shí)可以選擇導(dǎo)入到MaxCompute自己的盤古存儲(chǔ)系統(tǒng)，也可以導(dǎo)入到OSS一些開放數(shù)據(jù)結(jié)構(gòu)中，內(nèi)置存儲(chǔ)選用的是自己的AliORC。在這之上設(shè)計(jì)了統(tǒng)一的語(yǔ)言數(shù)據(jù)管理服務(wù)，可以納管內(nèi)置的存儲(chǔ)數(shù)據(jù)，同時(shí)可以通過DF同時(shí)管理OSS和HDFS上面的開放數(shù)據(jù)結(jié)構(gòu)。通過一個(gè)開放存儲(chǔ)的服務(wù)，提供一個(gè)統(tǒng)一的接口給上層不同計(jì)算引擎做不同業(yè)務(wù)場(chǎng)景下的計(jì)算要求。再往上使用彈性計(jì)算資源調(diào)度，可以很容易調(diào)度不同的計(jì)算引擎在整個(gè)計(jì)算平臺(tái)上去計(jì)算數(shù)據(jù)。最上層是對(duì)接不同的開發(fā)平臺(tái)和數(shù)據(jù)應(yīng)用。
MaxCompute 4.0 開放性升級(jí)：開放存儲(chǔ)及計(jì)算架構(gòu)
MaxCompute 4.0的開放性升級(jí)有兩方面，一個(gè)是開放存儲(chǔ)，一個(gè)是開放計(jì)算架構(gòu)。開放存儲(chǔ)我們希望把內(nèi)置的數(shù)據(jù)格式能夠通過開源內(nèi)存格式提供給不同計(jì)算引擎。開放計(jì)算架構(gòu)希望內(nèi)置計(jì)算引擎可以通過同樣一個(gè)API可以高效訪問數(shù)據(jù)湖上的數(shù)據(jù)。
開放結(jié)構(gòu)最主要提供的價(jià)值因?yàn)楝F(xiàn)在用戶的應(yīng)用、計(jì)算各個(gè)不同場(chǎng)景需要不同的計(jì)算引擎和不同的計(jì)算方式，MaxCompute 提供靈活開放的開源大數(shù)據(jù)AI引擎的計(jì)算方式給不同應(yīng)用。并且在這種開放場(chǎng)景下，我們也可以提供比較靈活的計(jì)算資源。
如上圖所示，左邊是比較通用的一些場(chǎng)景，如果大家已經(jīng)用了MaxCompute現(xiàn)代一些計(jì)算，同時(shí)需要一些AI計(jì)算或者一些其他計(jì)算，可以通過Storage API對(duì)接底下統(tǒng)一的數(shù)據(jù)源做不同的計(jì)算，這樣可以提供一個(gè)數(shù)據(jù)零拷貝，不需要為了不同計(jì)算把數(shù)據(jù)拷貝出去放到不同地方然后做計(jì)算。另外我們希望能夠提供統(tǒng)一的管理可以納管不同的數(shù)據(jù)源，大家在云上或者別的地方有自己的計(jì)算資源也可以用自己的計(jì)算資源對(duì)接自己的數(shù)據(jù)做不同的計(jì)算。
現(xiàn)在數(shù)據(jù)的實(shí)時(shí)性方案很多在用的都是Lambda架構(gòu)的模式，Lambda架構(gòu)全鏈路數(shù)據(jù)治理都有很多痛點(diǎn)，這中間會(huì)有一些數(shù)據(jù)融合、數(shù)據(jù)一致性問題。在MaxCompute4.0升級(jí)的時(shí)候，做了近實(shí)時(shí)處理框架的發(fā)布，達(dá)到一份數(shù)據(jù)一份code，可以低成本低運(yùn)維統(tǒng)一實(shí)施和批量處理鏈路。整個(gè)架構(gòu)我們用一個(gè)統(tǒng)一的數(shù)據(jù)組織結(jié)構(gòu)和數(shù)據(jù)管理，在這上面能夠有統(tǒng)一的計(jì)算框架，大家不用在實(shí)時(shí)和離線框架上用不同計(jì)算引擎，最終實(shí)現(xiàn)所有數(shù)據(jù)不管實(shí)時(shí)還是離線都有統(tǒng)一的語(yǔ)言數(shù)據(jù)管理。
MaxCompute 4.0 致力于通過技術(shù)全方位提升性價(jià)比
隨著AI的興起，數(shù)據(jù)規(guī)模越來越大，用戶對(duì)數(shù)據(jù)計(jì)算的性價(jià)比方面有更高的追求，MaxCompute4.0在過去一年，一直致力于做全方面的性價(jià)比提升。
計(jì)算高性能方面，SQL引擎方面在不斷提高。在HBO/HBS根據(jù)歷史查詢數(shù)據(jù)，歷史的統(tǒng)計(jì)信息我們能做更好的數(shù)據(jù)優(yōu)化及查詢優(yōu)化，并且通過資源調(diào)度的優(yōu)化提高性能。大家都知道大規(guī)模數(shù)據(jù)處理的時(shí)候，最主要的核心步驟是數(shù)據(jù)的shuffling，我們做了很多工作來提高整個(gè)數(shù)據(jù)shuffle性能。除此之外，MaxCompute4.0還嘗試通過推薦能夠幫助大家做一些物化視圖的總結(jié)，根據(jù)物化視圖消除重復(fù)性的計(jì)算。
在低成本方面，根據(jù)數(shù)據(jù)的冷熱，訪問的不同頻率做到了分層存儲(chǔ)。通過JSON半結(jié)構(gòu)化數(shù)據(jù)的列存，實(shí)現(xiàn)更好的壓縮。
在性價(jià)比方面，MaxCompute通過彈性資源調(diào)度、自適應(yīng)SQL引擎、存儲(chǔ)優(yōu)化、智能數(shù)倉(cāng)四個(gè)方面技術(shù)優(yōu)化，實(shí)現(xiàn)了彈性CU最終降價(jià)50%。
• 彈性資源調(diào)度：當(dāng)用戶根據(jù)包年包月處理會(huì)有很多空閑時(shí)候，雖然沒有用計(jì)算資源但是這個(gè)計(jì)算資源還是會(huì)算到里面去，如果有彈性資源就可以比較貼切計(jì)算的模型，根據(jù)不同時(shí)間段給不同的quota，從而達(dá)到降本增效。后面我們根據(jù)你的歷史，比如過去三個(gè)月使用情況做一些不同的資源變配的推薦，滿足資源降低成本的能力。
• 自適應(yīng)的SQL引擎：我們做了更多的工作，可以分成stage和stage之間的自適應(yīng)優(yōu)化。在同一個(gè)stage不同算子之間我們也可以做到不同自適應(yīng)算法。
• 存儲(chǔ)優(yōu)化：我們自研內(nèi)部的數(shù)據(jù)格式AliORC，跟一些比較通用的parquet和ORC格式對(duì)比，測(cè)試結(jié)果顯示讀寫性能是其2-6倍，壓縮比我們比他們高大概30%。我們會(huì)根據(jù)你數(shù)據(jù)的訪問頻次能夠自動(dòng)推薦你在哪些數(shù)據(jù)可以做冷存數(shù)據(jù)，提供更高性價(jià)比的存儲(chǔ)優(yōu)化。
• 智能數(shù)倉(cāng)：自研大數(shù)據(jù)對(duì)比開源大數(shù)據(jù)最大的區(qū)別就是我們是一個(gè)自閉環(huán)，能夠做自動(dòng)優(yōu)化，將歷史數(shù)據(jù)統(tǒng)一放到我們的原倉(cāng)數(shù)據(jù)里，根據(jù)原倉(cāng)信息，可以自動(dòng)做一些存儲(chǔ)方面和計(jì)算方面不同的優(yōu)化。
MaxCompute 4.0 Data+AI：One Env+One Data+One Code
AI是一個(gè)新的浪潮，過去一年我們對(duì)數(shù)倉(cāng)和AI如何結(jié)合做了很多思考。AI整個(gè)應(yīng)用的生命周期是數(shù)據(jù)收集、數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、數(shù)據(jù)訓(xùn)練、數(shù)據(jù)推理。有數(shù)據(jù)表明，大家認(rèn)為80%的時(shí)間花在數(shù)據(jù)的處理上，數(shù)據(jù)處理有很多痛點(diǎn)：
• 大數(shù)據(jù)開發(fā)和AI開發(fā)是兩個(gè)割裂的環(huán)境；大數(shù)據(jù)開發(fā)很多時(shí)候大家用SQL，但是AI現(xiàn)在更多的用Python開發(fā)環(huán)境。
• AI更關(guān)注AI計(jì)算引擎；對(duì)數(shù)據(jù)的大規(guī)模并發(fā)處理和分布式處理的能力有所欠缺，很多時(shí)候用戶要在自己本地做數(shù)據(jù)清理，或者找數(shù)據(jù)開發(fā)師去做數(shù)據(jù)處理。
• 數(shù)據(jù)來源比較多樣化；很多數(shù)據(jù)大家會(huì)放在數(shù)據(jù)湖上，沒有一個(gè)統(tǒng)一的數(shù)據(jù)管理的平臺(tái)能夠幫忙做數(shù)據(jù)管理，今天你處理了數(shù)據(jù)，而另外一個(gè)人需要產(chǎn)生非常相近的數(shù)據(jù)，但他不知道你這已經(jīng)處理了這份數(shù)據(jù)他有可能重新跑一遍，不光花了時(shí)間也花了資源。
• 開發(fā)迭代效率低；因?yàn)閮商紫到y(tǒng)，導(dǎo)致整個(gè)開發(fā)鏈路都比較長(zhǎng)，效率低下。
我們希望能夠從數(shù)倉(cāng)方面幫助用戶解決那些痛點(diǎn)。MaxCompute 4.0主旨實(shí)現(xiàn)，One Env+One Data+One Code，這背后核心就是提供一個(gè)Python的開發(fā)環(huán)境，一個(gè)Notebook的開發(fā)體驗(yàn)。在Data For AI方面，MaxCompute全面升級(jí)DataFrame能力，發(fā)布分布式計(jì)算框架MaxFrame，100%兼容Pandas等數(shù)據(jù)處理接口，通過一行代碼即可將原生Pandas自動(dòng)轉(zhuǎn)為MaxFrame分布式計(jì)算，打通數(shù)據(jù)管理、大規(guī)模數(shù)據(jù)分析、處理到ML開發(fā)全流程，打破大數(shù)據(jù)及AI開發(fā)使用邊界，實(shí)現(xiàn)大數(shù)據(jù)AI開發(fā)一體化，大大提高開發(fā)效率。
另外在AI For Data方面，我們提供一個(gè)Python大數(shù)據(jù)處理，這樣我們更容易使用一些豐富的AI和ML一些模型來做更好的數(shù)據(jù)挖掘和分析。
回頭看整個(gè)MaxCompute4.0，我們希望做到數(shù)據(jù)的開放，計(jì)算引擎的包容，能夠滿足各種不同的數(shù)據(jù)計(jì)算場(chǎng)景的需求，以及根據(jù)數(shù)據(jù)實(shí)時(shí)性會(huì)增加增量計(jì)算的能力，滿足大家對(duì)數(shù)據(jù)實(shí)時(shí)性的要求。后續(xù)MaxCompute也會(huì)持續(xù)在開放架構(gòu)、增量處理、Data+AI三個(gè)方向持續(xù)發(fā)展。
