近日，在 VLDB 2023 上，由阿里云計算平臺大數(shù)據(jù)基礎(chǔ)工程技術(shù)團隊主導(dǎo)，與計算平臺 MaxCompute 團隊、華東師范大學(xué)數(shù)據(jù)科學(xué)與工程學(xué)院、達摩院合作的論文入選 Industrial Track，該論文提出了基于預(yù)測的云計算平臺資源彈性伸縮框架 MagicScaler，該框架主要包含一個基于多尺度注意力高斯過程的預(yù)測模型和一個考慮需求不確定性的彈性伸縮優(yōu)化決策器。通過基于預(yù)測的資源彈性擴縮容，實現(xiàn)了“高QoS（Quality of Service），低成本”的雙豐收。
VLDB（International Conference on Very Large Data Bases）會議是計算機科學(xué)數(shù)據(jù)庫領(lǐng)域的頂級國際會議，專注于數(shù)據(jù)庫管理系統(tǒng)和大規(guī)模數(shù)據(jù)管理的研究，促進了數(shù)據(jù)庫技術(shù)和數(shù)據(jù)管理領(lǐng)域的學(xué)術(shù)交流和創(chuàng)新，在學(xué)術(shù)和工業(yè)界都有廣泛的影響力。此次入選意味著阿里云提出的基于預(yù)測的云計算平臺資源彈性伸縮框架獲得了國際學(xué)者的認(rèn)可。通過在 VLDB 這樣的頂級國際會議上展示阿里云計算平臺的創(chuàng)新成果，一方面體現(xiàn)了阿里云的技術(shù)競爭力，另一方面也創(chuàng)造了更多國際合作交流的可能性。
隨著云計算需求的日益發(fā)展，基于用戶需求合理地進行云資源分配是保障穩(wěn)定性和控制成本的重要因素。而云上用戶需求往往具有高度復(fù)雜性、不確定性和差異性，這給未來需求的準(zhǔn)確預(yù)測帶來了一定困難，也使得主動彈性伸縮更具挑戰(zhàn)性。一個好的主動彈性伸縮策略需要在考慮需求不確定性的同時，保持云平臺低運行成本和高 QoS 之間的合理平衡。
針對這一問題，MagicScaler 提出了一種預(yù)測器與彈性伸縮優(yōu)化器相結(jié)合的主動伸縮框架，首先通過結(jié)合多尺度注意力機制和隨機過程回歸實現(xiàn)精確的需求預(yù)測，并量化預(yù)測的不確定性；之后基于預(yù)測結(jié)果，將復(fù)雜業(yè)務(wù)場景建模為馬爾可夫決策過程，通過滾動時域求解近似，將量化的未來需求不確定性融入一個隨機規(guī)劃模型中得到推薦的彈性伸縮策略，并實現(xiàn)了資源成本與 QoS 之間的靈活平衡。
目前在阿里云云原生大數(shù)據(jù)計算服務(wù) MaxCompute 3 個集群的真實數(shù)據(jù)集上進行了實驗，綜合成本和 QoS 兩個層面，MagicScaler 要顯著優(yōu)于其他經(jīng)典的彈性伸縮算法。后續(xù)將進一步研究如何將 MagicScaler 技術(shù)與 MaxCompute 現(xiàn)有調(diào)度策略結(jié)合。
●論文標(biāo)題：MagicScaler: Uncertainty-aware, Predictive Autoscaling
●論文作者：潘志誠，王益杭，張穎瑩，楊斌，程云爻，陳鵬，郭晨娟，文青松，田西奪，竇云亮，周志強，楊程程，周傲英，楊彬
