近日，由阿里云計(jì)算平臺(tái)大數(shù)據(jù)基礎(chǔ)工程技術(shù)團(tuán)隊(duì)主導(dǎo)的四篇時(shí)間序列相關(guān)論文分別被國際頂會(huì)ICLR2024、ICDE2024和WWW2024接收。
論文成果是阿里云與華東師范大學(xué)、浙江大學(xué)、南京大學(xué)等高校共同研發(fā)，涉及時(shí)間序列與智能運(yùn)維結(jié)合的多個(gè)應(yīng)用場(chǎng)景。包括基于Pathways架構(gòu)的自適應(yīng)多尺度時(shí)間序列預(yù)測(cè)模型Pathformer；基于擾動(dòng)技術(shù)的時(shí)間序列解釋框架ContraLSP；多正常模式感知的頻域異常檢測(cè)算法MACE；輕量數(shù)據(jù)依賴的異常檢測(cè)重訓(xùn)練方法LARA。此次，時(shí)間序列相關(guān)模型等多篇論文的入選，表明阿里云在大數(shù)據(jù)基礎(chǔ)技術(shù)領(lǐng)域的研究得到了國際學(xué)術(shù)界的認(rèn)可，不僅展示了阿里云的技術(shù)競(jìng)爭(zhēng)力，也創(chuàng)造了更多國際合作交流的可能性。
ICLR（International Conference on Learning Representations）會(huì)議是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域的頂級(jí)國際會(huì)議，與NeurIPS、ICML并稱為機(jī)器學(xué)習(xí)三大頂級(jí)會(huì)議，在谷歌的全領(lǐng)域?qū)W術(shù)指標(biāo)排行榜中位列前十，以展示人工智能、統(tǒng)計(jì)學(xué)和數(shù)據(jù)科學(xué)領(lǐng)域的深度學(xué)習(xí)各個(gè)方面的前沿研究以及機(jī)器視覺、計(jì)算生物學(xué)、語音識(shí)別、文本理解、游戲和機(jī)器人等重要應(yīng)用領(lǐng)域而聞名全球。
ICDE（IEEE International Conference on Data Engineering）是數(shù)據(jù)庫研究領(lǐng)域歷史悠久的國際會(huì)議，與SIGMOD、VLDB并稱為數(shù)據(jù)庫三大頂級(jí)會(huì)議，會(huì)議聚焦于設(shè)計(jì)，構(gòu)建，管理和評(píng)估高級(jí)數(shù)據(jù)密集型系統(tǒng)和應(yīng)用等前沿研究問題。
WWW（The Web Conference）是為交叉，新興，綜合領(lǐng)域的頂級(jí)會(huì)議，CCF-A類，會(huì)議關(guān)注萬維網(wǎng)的未來發(fā)展，匯聚全世界相關(guān)的科研工作者、從業(yè)者和領(lǐng)域?qū)＜遥餐懻摶ヂ?lián)網(wǎng)的發(fā)展、相關(guān)技術(shù)的標(biāo)準(zhǔn)化以及這些技術(shù)對(duì)社會(huì)和文化的影響。
Pathformer：基于Pathways架構(gòu)的自適應(yīng)多尺度時(shí)間序列預(yù)測(cè)模型
現(xiàn)實(shí)場(chǎng)景中的時(shí)間序列在不同的時(shí)間尺度展現(xiàn)出不同的變化，如云計(jì)算場(chǎng)景中的CPU，GPU，內(nèi)存等資源需求呈現(xiàn)出日、月、季節(jié)等獨(dú)特尺度的時(shí)間模式。這為時(shí)間序列預(yù)測(cè)帶來一定的困難。一個(gè)好的時(shí)間序列預(yù)測(cè)模型需要考慮完備的時(shí)序多尺度建模能力以及進(jìn)一步自適應(yīng)選擇多尺度的能力。
基于Transformer模型的多尺度建模，主要有兩個(gè)挑戰(zhàn)。一：不完備的多尺度建模。只是針對(duì)時(shí)間分辨率不能有效地捕捉不同范圍的時(shí)間依賴關(guān)系，相反，考慮時(shí)間距離雖然能提取不同范圍的時(shí)間依賴，但全局和局部間隔受到數(shù)據(jù)劃分的影響，單一的時(shí)間分辨率并不完備。二：固定地多尺度建模過程。對(duì)所有時(shí)序采用固定的多尺度建模阻礙了每個(gè)時(shí)序的重要特征捕捉，然而為每個(gè)數(shù)據(jù)集或每個(gè)時(shí)序手動(dòng)調(diào)整最佳尺度非常耗時(shí)且難以處理。
針對(duì)這些問題，我們提出了一個(gè)基于Pathways架構(gòu)的自適應(yīng)多尺度Transformer模型 Pathformer，它整合了時(shí)間分辨率和時(shí)間距離提出了一個(gè)多尺度Transfomer模塊，使用雙重注意力機(jī)制建模局部和全局的時(shí)間依賴關(guān)系，使模型具備完備的多尺度建模能力。其次，我們提出自適應(yīng)pathways，激活Transformer的多尺度間建模能力。它基于輸入時(shí)序逐層地路由和聚合多尺度特征形成了自適應(yīng)pathways的多尺度建模，可以提升模型的預(yù)測(cè)效果和泛化性。
ContraLSP：基于對(duì)比稀疏擾動(dòng)技術(shù)的時(shí)間序列解釋框架
在智能運(yùn)維等領(lǐng)域，為機(jī)器學(xué)習(xí)模型所做的預(yù)測(cè)提供可靠的解釋具有極高的重要性�，F(xiàn)有的解釋方法涉及使用顯著性方法，這些方法的解釋區(qū)分取決于它們與任意模型的交互方式。一些工作建立了顯著圖，例如，結(jié)合梯度或構(gòu)造注意力機(jī)制，以更好地處理時(shí)間序列特征，而它們難以發(fā)現(xiàn)時(shí)間序列模式。其他替代方法，包括Shapley值或LIME，通過加權(quán)線性回歸在局部近似模型預(yù)測(cè)，為我們提供解釋。這些方法主要提供實(shí)例級(jí)別的顯著圖，但特征間的互相關(guān)常常導(dǎo)致顯著的泛化誤差。在時(shí)間序列中最常見的基于擾動(dòng)的方法通常通過基線、生成模型或使數(shù)據(jù)無信息的特征來修改數(shù)據(jù)，但這些擾動(dòng)的非顯著區(qū)域并不總是無意義的并且存在不在數(shù)據(jù)分布內(nèi)的樣本，導(dǎo)致解釋模型存在偏差。
基于此，本文提出了ContraLSP框架，該框架如圖所示。這是一個(gè)局部稀疏解釋模型，它通過引入反事實(shí)樣本來構(gòu)建無信息擾動(dòng)同時(shí)保持樣本分布。此外，我們?nèi)谌肓颂囟ㄓ跇颖镜南∈栝T控機(jī)制來生成更傾向于二值化且平滑的掩碼，這有助于簡潔地整合時(shí)間趨勢(shì)并精選顯著特征。在保證標(biāo)簽的一致性條件下，其整體優(yōu)化目標(biāo)為：
論文在白盒時(shí)序預(yù)測(cè)，黑盒時(shí)序分類等仿真數(shù)據(jù)，和真實(shí)時(shí)序數(shù)據(jù)集分類任務(wù)中進(jìn)行了實(shí)驗(yàn)，ContraLSP在解釋性能上超越了SOTA模型，顯著提升了時(shí)間序列數(shù)據(jù)解釋的質(zhì)量。
MACE：多正常模式感知的頻域異常檢測(cè)算法
異常檢測(cè)是智能運(yùn)維領(lǐng)域的重要研究方向。近來，基于重構(gòu)類方法的異常檢測(cè)模型獨(dú)占鰲頭，在無監(jiān)督異常檢測(cè)中達(dá)到了很高的準(zhǔn)確度，涌現(xiàn)了大量優(yōu)秀的神經(jīng)網(wǎng)絡(luò)模型，例如：基于RNN類的神經(jīng)網(wǎng)絡(luò)OmniAnomaly, MSCRED; 基于transformer類的神經(jīng)網(wǎng)絡(luò)AnomalyTransformer, DCdetector等，但這類方法一個(gè)模型只能較好地捕捉一種或少數(shù)幾種正常模式。因此，涌現(xiàn)出了一批以元學(xué)習(xí)為輔助，快速適應(yīng)不同正常模式的異常檢測(cè)模型，例如PUAD, TranAD等。但這些方法依然要求對(duì)不同的正常模式定制不同的模型，當(dāng)存在十萬級(jí)不同正常模式的服務(wù)時(shí)，很難維護(hù)這么多神經(jīng)網(wǎng)絡(luò)模型。
與其他神經(jīng)網(wǎng)絡(luò)直接從數(shù)據(jù)樣本中判斷當(dāng)前樣本是否為異常不同，MACE從數(shù)據(jù)樣本與該數(shù)據(jù)樣本對(duì)應(yīng)的正常模式的關(guān)系中提取異常。在MACE中，我們首先提出使用頻域表征機(jī)制提取出正常模式的頻域子空間，并使用頻域表征技術(shù)把當(dāng)前數(shù)據(jù)樣本映射到該頻域子空間中。若該數(shù)據(jù)樣本離這個(gè)正常模式的頻域子空間越遠(yuǎn)則在映射后，映射點(diǎn)與原始樣本距離越遠(yuǎn)，重構(gòu)誤差越大。若該數(shù)據(jù)樣本離這個(gè)頻域子空間的頻域子空間越近，則在映射后，映射點(diǎn)與原始樣本距離越近，重構(gòu)誤差越校因此，我們可以根據(jù)當(dāng)前數(shù)據(jù)樣本與其對(duì)應(yīng)的正常模式頻域子空間的關(guān)系，令對(duì)于當(dāng)前正常模式而言的正常數(shù)據(jù)重構(gòu)誤差遠(yuǎn)小于異常數(shù)據(jù)的重構(gòu)誤差，以此檢測(cè)異常。更進(jìn)一步，我們提出上下文感知的傅里葉變換和反變換機(jī)制，有效利用頻域的稀疏性提升計(jì)算效率，在頻域上不存在時(shí)序依賴，可以對(duì)該模型進(jìn)行細(xì)粒度的高并發(fā)實(shí)現(xiàn)，進(jìn)一步減少異常檢測(cè)的時(shí)間開銷。另外，我們提出Peak Convolution與Valley Convolution機(jī)制對(duì)短期異常進(jìn)行增強(qiáng)使其更容易被檢測(cè)到。
LARA：輕量數(shù)據(jù)依賴的異常檢測(cè)重訓(xùn)練方法
在云服務(wù)的監(jiān)控場(chǎng)景中，經(jīng)常出現(xiàn)正常模式隨時(shí)間不斷變化，且在變化初期觀測(cè)數(shù)據(jù)數(shù)量不足以支撐模型訓(xùn)練的問題。目前，可以解決正常模式更替變化的方法主要有遷移學(xué)習(xí)、元學(xué)習(xí)、基于信號(hào)處理的方法。但同時(shí)他們也存在一些弊端，并不完全適配當(dāng)前問題。例如遷移學(xué)習(xí)未考慮本問題中多個(gè)歷史正常模式之間存在的時(shí)序關(guān)系。元學(xué)習(xí)同樣未考慮歷史正常模式之間的時(shí)序關(guān)系，同時(shí)，需要存儲(chǔ)大量的歷史數(shù)據(jù)�；谛盘�(hào)處理的方法，這類方法推理階段時(shí)間開銷太大，無法在流量峰值處進(jìn)行實(shí)時(shí)異常檢測(cè)。
因此，我們提出方法LARA解決上述問題。為了解決重訓(xùn)練新觀測(cè)數(shù)據(jù)不足的問題，我們提出反芻模塊，該模塊使用老模型恢復(fù)歷史分布中與新觀測(cè)數(shù)據(jù)相似的數(shù)據(jù)，并使用歷史數(shù)據(jù)與新觀測(cè)數(shù)據(jù)一起估計(jì)每一個(gè)新觀測(cè)數(shù)據(jù)的隱藏狀態(tài)z。為了解決重訓(xùn)練計(jì)算開銷大的問題，我們使用映射函數(shù)M_z和M_x分別把老模型輸出的隱藏狀態(tài)和重構(gòu)數(shù)據(jù)映射為當(dāng)前分布的隱藏狀態(tài)估計(jì)值與新觀測(cè)數(shù)據(jù)，并數(shù)學(xué)證明了映射函數(shù)令映射誤差最小的最優(yōu)形式為線性，極大降低了重訓(xùn)練開銷。更進(jìn)一步，我們根據(jù)M_z 與M_x的形式，提出一種相應(yīng)的損失函數(shù)設(shè)計(jì)范式，可以保證重訓(xùn)練問題是一個(gè)凸問題，具有唯一全局最優(yōu)解，從而保證較快的收斂速率，降低重訓(xùn)練計(jì)算開銷，避免陷入過擬合。
論文鏈接
1、論文標(biāo)題：Pathformer: Multi-Scale Transformers With Adaptive Pathways For Time Series Forecasting
論文作者： 陳鵬， 張穎瑩， 程云爻， 樹揚(yáng)， 王益杭， 文青松， 楊彬， 郭晨娟
論文鏈接：https://openreview.net/pdf?id=lJkOCMP2aW
代碼鏈接：https://github.com/alibaba/sreworks-ext/tree/main/aiops/Pathformer_ICLR2024
2、論文標(biāo)題：Explaining Time Series via Contrastive and Locally Sparse Perturbations
論文作者： 劉子川，張穎瑩，王天純，王澤凡，駱東升，杜夢(mèng)楠，吳敏，王毅，陳春林，范倫挺，文青松
論文鏈接：https://openreview.net/pdf?id=qDdSRaOiyb
代碼鏈接：https://github.com/alibaba/sreworks-ext/tree/main/aiops/ContraLSP
3、論文標(biāo)題：Learning Multi-Pattern Normalities in the Frequency Domain for Efficient Time Series Anomaly Detection
論文作者： 陳飛佚，張穎瑩，秦臻，范倫挺，姜仁河，梁宇軒，文青松，鄧水光
論文鏈接：https://arxiv.org/abs/2311.16191
4、論文標(biāo)題： LARA: ALight and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection
論文作者： 陳飛佚，秦臻，周孟初，張穎瑩
論文鏈接：https://arxiv.org/abs/2310.05668
