新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】華人團(tuán)隊(duì)開源新模型U-Cast，像「放大鏡+過濾器」一樣，從上萬條時(shí)間序列里秒抓關(guān)鍵層級(jí)，預(yù)測(cè)更快更準(zhǔn)；同步發(fā)布十領(lǐng)域真實(shí)大數(shù)據(jù)集Time-HD，供全球研究者免費(fèi)練手，推動(dòng)高維時(shí)序預(yù)測(cè)進(jìn)入「ImageNet時(shí)刻」。

從金融市場(chǎng)的上千支股票，到智慧城市交通網(wǎng)絡(luò)的上萬個(gè)傳感器，我們正全面進(jìn)入一個(gè)由高維時(shí)間序列數(shù)據(jù)驅(qū)動(dòng)的時(shí)代。

然而，當(dāng)前主流的時(shí)間序列預(yù)測(cè)（TSF）模型，大多仍停留在僅包含幾個(gè)或幾百個(gè)變量的低維環(huán)境中進(jìn)行評(píng)估（Table 1）。

當(dāng)面對(duì)成千上萬個(gè)變量構(gòu)成的高維復(fù)雜系統(tǒng)時(shí)（Time-HD），則往往在效率與性能上表現(xiàn)出明顯的局限性。

此外，大規(guī)模數(shù)據(jù)集已被證明是多個(gè)研究領(lǐng)域取得突破的關(guān)鍵支撐。

例如，CV中的ImageNet、MS COCO，NLP中的GLUE、SQuAD，以及Graph中的OGB，都在推動(dòng)相應(yīng)領(lǐng)域的發(fā)展中發(fā)揮了決定性作用。

然而，在時(shí)序預(yù)測(cè)領(lǐng)域，始終缺乏同類的大規(guī)?；鶞?zhǔn)，這使得研究進(jìn)展受到制約。

進(jìn)一步地，高維環(huán)境才能真正釋放通道依賴型模型的價(jià)值。

而在現(xiàn)有的低維數(shù)據(jù)集上，通道依賴型（Channel-Dependent, CD）模型相較通道獨(dú)立型（Channel-Independent, CI）模型并未表現(xiàn)出穩(wěn)定且顯著的優(yōu)勢(shì)。

這一現(xiàn)象容易引發(fā)懷疑，即顯式建模通道間關(guān)系是否真的有效？

之前有研究提出是維度數(shù)量本身限制了CD方法潛在優(yōu)勢(shì)的發(fā)揮。

通過理論分析（Theorem 1 and 2），他們證明了在高維環(huán)境下，當(dāng)存在非冗余變量時(shí)，CD模型的貝葉斯風(fēng)險(xiǎn)（Bayes risk）始終低于CI模型，且這一優(yōu)勢(shì)會(huì)隨著維度增加而不斷擴(kuò)大。

在此基礎(chǔ)上，合成數(shù)據(jù)和真實(shí)數(shù)據(jù)的實(shí)驗(yàn)進(jìn)一步驗(yàn)證了這一結(jié)論。

當(dāng)數(shù)據(jù)維度變高時(shí)，即變量從幾百個(gè)飆升到上萬個(gè)時(shí)，時(shí)序預(yù)測(cè)會(huì)面臨兩個(gè)挑戰(zhàn)：

1. 復(fù)雜的層級(jí)結(jié)構(gòu)：在大規(guī)模系統(tǒng)中，變量之間往往呈現(xiàn)出隱含的層級(jí)關(guān)系（例如，金融市場(chǎng)中從板塊到行業(yè)再到具體公司的層次）?，F(xiàn)有模型大多無法有效捕捉這種多尺度關(guān)聯(lián) 。

2. 效率與擴(kuò)展性瓶頸：傳統(tǒng)的依賴通道間交互的模型，在面對(duì)上千個(gè)變量時(shí)，其計(jì)算成本和內(nèi)存消耗會(huì)呈指數(shù)級(jí)增長(zhǎng)，變得不切實(shí)際。

埃默里大學(xué)的華人研究團(tuán)隊(duì)近期提出了全新的高維時(shí)序預(yù)測(cè)架構(gòu)U-Cast，通過層級(jí)式潛查詢網(wǎng)絡(luò)高效建模多尺度依賴關(guān)系，并結(jié)合滿秩正則化提升特征解耦能力，在預(yù)測(cè)精度與效率上均超越現(xiàn)有方法。

為了系統(tǒng)評(píng)估模型性能，研究團(tuán)隊(duì)同時(shí)發(fā)布了高維時(shí)序預(yù)測(cè)基準(zhǔn)Time-HD，為未來相關(guān)研究提供了統(tǒng)一且可擴(kuò)展的實(shí)驗(yàn)基準(zhǔn)。

論文鏈接：https://arxiv.org/pdf/2507.15119

代碼鏈接：https://github.com/UnifiedTSAI/Time-HD-Lib

這項(xiàng)研究強(qiáng)調(diào)了兩個(gè)亟需突破的方向：設(shè)計(jì)更強(qiáng)大的CD模型，以及構(gòu)建真正意義上的高維時(shí)序預(yù)測(cè)基準(zhǔn)。

U-Cast

高效洞察層級(jí)奧秘

為應(yīng)對(duì)上述兩大挑戰(zhàn)，研究者提出了U-Cast架構(gòu)，其核心設(shè)計(jì)包括以下關(guān)鍵組件：

層級(jí)式潛查詢網(wǎng)絡(luò)（Hierarchical LatentQueryNetwork）：U-Cast不再依賴在所有變量間進(jìn)行全局注意力計(jì)算的傳統(tǒng)方式，而是引入一小組可學(xué)習(xí)的「潛查詢」（latent queries）。

這些潛查詢?nèi)缤畔⑻崛∑?，能夠逐層從高維變量中篩選并壓縮關(guān)鍵信息，從而高效建構(gòu)數(shù)據(jù)的潛在層級(jí)結(jié)構(gòu)，實(shí)現(xiàn)對(duì)復(fù)雜多尺度依賴關(guān)系的建模。

Channel Embedding

給定輸入多條時(shí)間序列，T是時(shí)序輸入長(zhǎng)度，先通過Linear層獲取其相應(yīng)的embedding ， C代表channel數(shù)量（即維度），d代表embedding dimension。

Hierarchical Latent Query Network

每一層都用一個(gè)latent query（可學(xué)習(xí)）作為query與embedding做attention來達(dá)到降維（）的目的。

Hierarchical Upsampling Network

使用skip connection作為query參與attention來指導(dǎo)維度重建，可以在保留原有信息的基礎(chǔ)上增加層次結(jié)構(gòu)信息。

Output Projection

最后使用Linear層將d映射到時(shí)序預(yù)測(cè)長(zhǎng)度S

全秩正則化（Full-Rank Regularization）

高維時(shí)間序列普遍存在冗余性，導(dǎo)致模型容易陷入學(xué)習(xí)重復(fù)或低效表示。

為此，U-Cast在訓(xùn)練過程中引入一種新穎的正則化目標(biāo)，以約束表示空間保持更高秩的多樣性。

該機(jī)制能夠有效減少通道間冗余信息，促使模型學(xué)習(xí)到更加獨(dú)立且結(jié)構(gòu)化的特征表示，從而提升預(yù)測(cè)的精度與穩(wěn)健性。

這里

優(yōu)化目標(biāo)（Overall Objective）

最終同時(shí)優(yōu)化ground truth loss和研究者提出的Full-Rank Regularization loss

Time-HD

為高維預(yù)測(cè)設(shè)立新基準(zhǔn)

為了驗(yàn)證U-Cast的性能并推動(dòng)社區(qū)發(fā)展，研究團(tuán)隊(duì)構(gòu)建了Time-HD——首個(gè)專為高維時(shí)間序列預(yù)測(cè)設(shè)計(jì)的大規(guī)?；鶞?zhǔn)，具有以下特性：

高維多尺度：16個(gè)數(shù)據(jù)集，變量數(shù)從1161到20000，規(guī)模包括4個(gè)GB級(jí)、8個(gè)百M(fèi)B級(jí)和4個(gè)十MB級(jí)，支持分布式和單卡訓(xùn)練。

領(lǐng)域廣泛：涵蓋神經(jīng)科學(xué)、能源、交通、金融、流行病學(xué)、云計(jì)算、氣象、社會(huì)行為等10個(gè)領(lǐng)域。

來源多樣：同時(shí)包含合成與真實(shí)數(shù)據(jù)。Neurolib與SIRS基于微分方程模擬，適合科學(xué)建模與假設(shè)檢驗(yàn)；其余為真實(shí)觀測(cè)數(shù)據(jù)，用于檢驗(yàn)?zāi)Ｐ驮趯?shí)際場(chǎng)景的泛化能力。

采樣多頻：覆蓋毫秒、分鐘、小時(shí)和天級(jí)采樣，并采用頻率相關(guān)預(yù)測(cè)步長(zhǎng)，更貼近真實(shí)應(yīng)用。

實(shí)驗(yàn)效果

精度領(lǐng)先：在16個(gè)數(shù)據(jù)集里，U-Cast在12個(gè)數(shù)據(jù)集的MSE指標(biāo)上排名第一。與iTransformer相比，平均預(yù)測(cè)誤差降低了15%

效率出眾：U-Cast不僅預(yù)測(cè)得更準(zhǔn)，還更快、更省資源。如下圖所示，在達(dá)到最低預(yù)測(cè)誤差（MSE）的同時(shí)，U-Cast的訓(xùn)練速度（12ms/iter）和顯存占用（0.2GB）遠(yuǎn)低于表現(xiàn)相近的iTransformer（20.8ms, 2.8GB）等模型。

消融實(shí)驗(yàn)：驗(yàn)證了每個(gè)模塊對(duì)U-Cast的影響，消融掉任何一個(gè)模塊都會(huì)降低U-Cast的表現(xiàn)。

滿秩約束到底是否有效？

上圖展示了變量的協(xié)方差矩陣從隨機(jī)初始化狀態(tài)（Epoch 0）到較優(yōu)收斂狀態(tài)（Epoch 10）的演化過程。

隨著訓(xùn)練迭代，協(xié)方差矩陣的結(jié)構(gòu)發(fā)生了顯著變化，由稠密逐漸轉(zhuǎn)向稀疏。這表明滿秩約束能夠通過減少通道間的冗余，有效促進(jìn)表示的解耦。

總結(jié)

研究人員通過提出U-Cast模型與發(fā)布Time-HD基準(zhǔn)，為高維時(shí)間序列預(yù)測(cè)設(shè)立了新的標(biāo)桿：

提供了性能卓越、效率優(yōu)越的基線模型；

為研究社區(qū)探索更大規(guī)模、更真實(shí)場(chǎng)景的時(shí)序預(yù)測(cè)開辟了新方向。

隨著配套代碼庫(kù)Time-HD-Lib的開源，未來高維時(shí)序預(yù)測(cè)研究有望迎來新一輪創(chuàng)新浪潮，助力時(shí)序預(yù)測(cè)邁向高維。

參考資料：

https://arxiv.org/pdf/2507.15119