編輯：LRST
【新智元導讀】DUET創新性的引入了一種時間和通道雙向聚類架構，有效解決了時序分布漂移以及多變量時間序列中變量關系難以動態建模的難題。研究團隊在最新時間序列預測基準評測TFB的25個數據集上進行了廣泛驗證，證明了DUET的卓越效能，為各行業的時間序列預測任務提供了全新的解決方案。
多變量時間序列預測（MTSF）在金融投資、能源管理、天氣預測和交通最佳化等領域具有重要套用。然而，現實中的時間序列通常面臨兩大挑戰：
1. 時間模式的異質性，即由於外部因素的影響，真即時間序列往往表現出非平穩性（Temporal Distribution Shift, TDS），導致其分布和模式發生顯著變化；
2. 通道間的復雜關系，即不同通道（變量）之間通常存在復雜且交錯的相關性，包括顯著相關的通道、雜訊通道以及無關通道，這種復雜性使得精準建模變得尤為困難。
近日，來自華東師範大學和丹麥奧爾堡大學的科研人員合作，創新性地提出了一種基於時間和通道雙向聚類架構的時間序列預測模型DUET，在多變量時間序列預測領域取得了巨大的突破。
論文地址：https://arxiv.org/pdf/2412.10859
Github：https://github.com/decisionintelligence/DUET
主要挑戰
由時序漂移引起的異質性時間模式難以建模
在實際套用中，描述不穩定系統的時間序列往往容易受到外部因素的影響。這種時間序列的非平穩性意味著數據分布會隨著時間的推移發生變化，這一現象被稱為時間分布漂移（Temporal Distribution Shift, TDS）TDS會導致時間序列呈現出不同的時間模式，這種現象正式被稱為時間模式的異質性。
例如，圖1(a) 展示了一個經濟領域的時間序列，反映了隨國際環境變化而產生的波動。
可以觀察到，三個時間區間 A、B 和 C 遵循不同的時間分布，這一點可以透過圖1 (b)、圖1 (c) 和圖1 (d) 所示的值直方圖得到證明。這種分布的變化伴隨著時間模式的差異。正如圖1 (a) 所示，藍色區間 A 呈現下降趨勢，綠色區間 B 呈現上升趨勢，而黃色區間 C 則表現為更陡峭的下降趨勢。
考慮到這些模式在時間序列中的普遍存在，將其納入建模過程顯得尤為重要。然而，近期的研究大多以隱式方式處理時間模式的異質性，這在很大程度上削弱了預測的準確性。
復雜的通道間關系難以靈活建模
多變量時間序列預測任務中，建模不同通道之間的相關性至關重要，因為利用其他相關通道的資訊往往可以提升特定通道的預測精度。
例如，在天氣預測中，溫度的預測可以透過結合濕度、風速和氣壓等數據得到改進，因為這些因素之間相互關聯，可以提供更全面的天氣狀況資訊。
研究人員探索了多種通道策略，包括：將每個通道獨立對待 (Channel-Independent, CI); 假設每個通道與其他所有通道相關(Channel-Dependent, CD); 以及將通道分組為若幹簇 (Channel-Hard-Clustering, CHC)。
CI強制對不同通道使用相同的模型。盡管這一策略具有一定的魯棒性，但它忽略了通道之間的潛在互動，可能在未見通道的泛化能力和建模容量上受到限制；
CD 則同時考慮所有通道，並生成用於解碼的聯合表示，但可能受到無關通道雜訊的幹擾，從而降低模型的魯棒性；
CHC 透過硬聚類將多變量時間序列劃分為互不相交的簇，在每個簇內使用 CD 建模方法，而在簇之間使用CI方法。
然而，該方法僅考慮同一簇內的關系，限制了其靈活性和通用性。目前尚未有一種方法能夠精確且靈活地建模通道之間的復雜互動關系。
核心貢獻
為了解決多變量時間序列預測（MTSF）問題，論文提出了一個通用框架——DUET。該框架透過時間維度和通道維度的雙向聚類，學習準確且自適應的預測模型。
研究人員設計了時間聚類模組（TCM），將時間序列劃分為細粒度的分布簇。針對不同的分布簇設計了多種模式提取器，以捕捉其獨特的時間模式，從而建模時間模式的異質性。
通道聚類模組（CCM），透過度量學習在頻率域中靈活捕捉通道間的關系，並進行稀疏化處理以抑制雜訊通道的影響，從而實作靈活且高效的通道關系建模。
最後，在TFB的25個數據集上進行了廣泛實驗，實驗結果表明，DUET優於現有的最先進基線。此外，所有數據集和程式碼已公開。
模型框架
時間聚類模組 (TCM)
分布路由器：透過兩層全連線網路將時間序列的潛在分布投影到高維空間，利用 Noisy Gating 技術選擇最可能的分布簇。
線性模式提取器：將時間序列分解為趨勢部份和季節性部份，分別透過線性變換提取特征。
聚合器：利用分布路由器的權重，動態聚合提取的特征，整合為全域時間特征表示。
通道聚類模組 (CCM)
頻域通道表示：利用傅立葉變換將時間序列對映到頻率空間，以頻域特征衡量通道的相關性；使用可學習的Mahalanobis距離構建通道間的關系矩陣。
稀疏化：透過Gumbel Softmax重采樣策略，將通道關系矩陣轉化為稀疏的掩碼矩陣，僅保留對預測任務有益的通道連線。
融合模組 (FM)
使用掩碼註意力機制，將時間特征與通道掩碼矩陣相結合，以生成最終的特征表示。
實驗效果
整體效能
DUET在10個被廣泛認可的真實數據集上大幅領先於當前最先進模型。從絕對效能的角度來看，DUET 相較於表現次優的基線模型 PDF，有顯著提升，均方誤差（MSE）降低了6.9%，平均絕對誤差（MAE）降低了 6.2%。
DUET 在應對由時間分布漂移引起的時間異質性問題時表現出卓越的能力。此外，在不同通道策略的對比中，DUET 同樣展現了 CSC 策略的顯著優勢。
消融實驗
文中進一步提供了一系列消融實驗來驗證模型框架設計的合理性。實驗表明，DUET的設計在提升模型精度上是有效的。
參數敏感性分析：
DUET根據時間序列的時間分布將其聚類為M類，其中M是模式提取器的數目，研究人員分析了不同M值對預測精度的影響，並得出以下觀察結論：
1）當M=1時，模型效能低於M≠1的情況
2）對於來自相同領域的數據集，例如電力領域的數據集ETTp和ETTp，最佳M值相同，均為4
3）對於來自不同領域的數據集，例如 ILI（健康領域）和 Exchange（經濟領域），最佳N值分別為2和5
4）在選擇最合適的M時，模型效能在大多數情況下顯著優於其他變體，突顯了在時間視角下進行聚類的有效性，並表明來自相同領域的數據集通常具有相似的時間分布，反之亦然。
總結
論文提出了一種通用框架DUET，該框架透過在時間維度和通道維度上引入雙向聚類來提升多變量時間序列的預測能力。
DUET整合了一個時間聚類模組（Temporal Clustering Module，TCM），該模組將時間序列聚類為細粒度的分布簇，並針對不同分布簇設計多種模式提取器，以捕捉其獨特的時間模式，從而建模時間模式的異質性。
此外，研究人員引入了通道聚類模組（Channel Clustering Module，CCM），采用通道軟聚類策略，透過度量學習在頻率域中捕捉通道之間的關系，並進行稀疏化處理。
最後，融合模組（Fusion Module，FM）基於掩碼註意力機制，將TCM提取的時間特征與CCM生成的通道掩碼矩陣高效結合，這些創新機制共同賦予DUET卓越的預測效能。
