機器之心發(fā)布

機器之心編輯部

提到 AI 的突破，人們首先想到的往往是大語言模型（LLM）：寫代碼、生成文本、甚至推理多模態(tài)內(nèi)容，幾乎重塑了通用智能的邊界。但在一個看似 “簡單” 的領(lǐng)域 —— 結(jié)構(gòu)化表格數(shù)據(jù)上，這些強大的模型卻頻頻失手。電網(wǎng)調(diào)度、用戶建模、通信日志…… 現(xiàn)實世界中大量關(guān)鍵系統(tǒng)的核心數(shù)據(jù)都以表格形式存在。然而，無論是直接微調(diào) LLM，還是采用專門為表格設(shè)計的深度架構(gòu)（如 TabNet、SAINT、FT-Transformer），其性能在多數(shù)真實場景下仍難以超越 XGBoost、CatBoost 等傳統(tǒng)梯度提升方法。

這引出一個尖銳的問題：為什么在非結(jié)構(gòu)化數(shù)據(jù)上所向披靡的現(xiàn)代深度學(xué)習(xí)，在結(jié)構(gòu)化數(shù)據(jù)建模中卻長期陷入瓶頸？

直指這個核心問題，清華大學(xué)崔鵬團隊做出了他們的回應(yīng) ——LimiX。

不同于其他模型只能進行一種下游任務(wù)，LimiX-2M 在同時支持分類、回歸、缺失值插補等任務(wù)的前提下，以僅有 2M 的模型參數(shù)超越了包括 XGBoost、CatBoost 在內(nèi)的經(jīng)典模型，并在與 AutoGluon 和 TabPFN 的對比中展示出顯著優(yōu)勢，僅次于 LimiX 前期發(fā)布的 LimiX-16M。

LimiX 的開源使中國在表格建模領(lǐng)域的研究真正站到了世界的最前沿，力壓 Amazon AWS，Inria 等一系列頂尖機構(gòu)在諸多性能測試上登頂！僅僅 2M 的模型體量使得快速微調(diào)和工程適配成為可能，為各領(lǐng)域研究和工業(yè)應(yīng)用提供了無限可能。

• 技術(shù)報告標(biāo)題：LimiX: Unleashing Structured-Data Modeling Capability for Generalist Intelligence
• 報告地址：https://arxiv.org/abs/2509.03505
• 項目地址：https://www.limix.ai/
• Github：https://github.com/limix-ldm/LimiX
• Huggingface：https://huggingface.co/stable-ai

2M 參數(shù)量，LimiX 有多強？

11 個權(quán)威評測基準(zhǔn)上的平均性能表現(xiàn)，LimiX-2M 僅次于 LimiX-16M，位列第二

如圖所示，在 11 個權(quán)威綜合性能評測中，LimiX 憑借強大的 zero-shot 能力強勢領(lǐng)跑：其 LimiX-16M 與 LimiX-2M 版本包攬分類任務(wù)冠亞軍，一舉超越業(yè)界標(biāo)桿 AutoGluon，并大幅甩開其他基于上下文學(xué)習(xí)的基礎(chǔ)模型與傳統(tǒng)樹模型。

在基準(zhǔn)數(shù)據(jù)集 BCCO-CLS 上的分類性能對比，只展示了部分最優(yōu)模型，完整表格參閱技術(shù)報告

在基準(zhǔn)數(shù)據(jù)集 CTR23 上的回歸性能對比，只展示了部分最優(yōu)模型，完整表格參閱技術(shù)報告

上圖展示了 LimiX-2M 在 BCCO 和 CTR23 上的測試結(jié)果：在分類任務(wù)中，LimiX-16M 和 LimiX-2M 包攬前二。在回歸任務(wù)中，LimiX-16M 依舊穩(wěn)居榜首；LimiX-2M 緊隨 LimiX-16M 和 AutoGluon，力壓眾多模型，位列第三。值得注意的是 —— 這一切成績均在無任何任務(wù)特定微調(diào)的前提下達成！

除了 “開箱即用” 模式之外，LimiX 還可以通過微調(diào)進一步提高模型表現(xiàn)。作為對比，我們把 LimiX-2M 和最新的 PFN-V2.5 都在 analcatdata_apnea2 數(shù)據(jù)集上進行微調(diào)，并統(tǒng)計微調(diào)前后的 AUC 和消耗的時間。微調(diào)后，模型的 AUC 相較于微調(diào)之前提升 11.4%，同時所需要的時間只相當(dāng)于 PFN-V2.5 的 60%。

值得一提的是，盡管本對比實驗在 H20 上完成，但 LimiX-2M 可以在消費級顯卡 RTX4090 上進行微調(diào)，而 PFN-V2.5 需要更大顯存的顯卡，LimiX 作為基礎(chǔ)模型顯然更加科研友好。

讓科研回歸創(chuàng)造，讓技術(shù)成為助力

LimiX-2M 作為一個高效、靈活、可靠的算法架構(gòu)，讓研究人員不再受困于算力與工程難題，而是專注于科學(xué)問題本身。其輕量、易用、可落地的特點，使最前沿的 AI 技術(shù)觸手可及，大大降低了使用門檻，加速了想法的驗證與共享：

• 開箱即用，告別適配：LimiX 基于上下文學(xué)習(xí)，無需訓(xùn)練或調(diào)參，自動完成數(shù)據(jù)預(yù)處理，讓非專業(yè)人士也能立刻上手；
• 一模多能，科研的 “瑞士軍刀”：單模型通吃分類、回歸、插補等多任務(wù)，跨學(xué)科研究無縫切換，告別繁瑣的模型管理；
• 小樣本友好，挖掘珍貴數(shù)據(jù)價值：在醫(yī)學(xué)、生物等小樣本場景下高效泛化，從有限數(shù)據(jù)中榨取最大的分析價值；
• 可解釋可追溯，打開模型 “黑盒”：通過檢索機制揭示預(yù)測依據(jù)，提升透明度，助力理論驗證與可信分析；
• 低算力運行，資源友好的科研工具：輕量設(shè)計支持普通電腦流暢運行，讓小型團隊也能低成本開展前沿 AI 實驗；
• 本地可部署，隱私與合規(guī)雙保險：完全離線運行，保障敏感數(shù)據(jù)安全，滿足醫(yī)療、國防等高合規(guī)場景需求。

輕量模型的 “屠龍術(shù)”

1. LimiX 模型是怎么練成的？

LimiX 的模型結(jié)構(gòu)：LimiX 的設(shè)計基于 Transformer 架構(gòu)，并針對結(jié)構(gòu)化數(shù)據(jù)建模進行了優(yōu)化。模型首先對特征與目標(biāo)分別進行 embedding，在主模塊中通過樣本維度與特征維度的雙重注意力機制，聚焦關(guān)鍵樣本與關(guān)鍵特征。提取的高維表示隨后分別輸入回歸頭和分類頭，從而同時支持回歸與分類任務(wù)。

LimiX 的訓(xùn)練數(shù)據(jù)： LimiX 在預(yù)訓(xùn)練中完全依賴生成數(shù)據(jù)，而非真實世界數(shù)據(jù)。為確保生成過程的高效與可控，模型采用基于結(jié)構(gòu)因果圖（SCG）的數(shù)據(jù)生成方式：初始樣本在有向無環(huán)圖上傳播，通過邊映射與節(jié)點交互模擬真實因果依賴關(guān)系，再從因果圖中采樣得到訓(xùn)練數(shù)據(jù)。該方法既保證了數(shù)據(jù)的因果多樣性，又提升了可控性與泛化能力。

掩碼重構(gòu)機制：LimiX 對數(shù)據(jù)的聯(lián)合分布進行建模，以提高模型的通用性、增強對特征交互模式的建模能力。具體地，LimiX 模型在模型優(yōu)化目標(biāo)設(shè)計中加入了掩碼重構(gòu)機制：在訓(xùn)練過程中，通過對數(shù)據(jù)進行隨機掩碼操作，模型將根據(jù)特征間的因果依賴關(guān)系，使用觀測到的數(shù)據(jù)來重構(gòu)缺失數(shù)據(jù)。

2. 核心更新：RBF 嵌入層（RaBEL）

LimiX-2M 僅有 1.94M 參數(shù)量，是 LimiX-16M 的八分之一，卻在多個數(shù)據(jù)集基準(zhǔn)上取得強勁、接近 LimiX-16M 的性能表現(xiàn)。

它的核心革新不是 “剪枝” 或 “蒸餾”，而是一次從嵌入層重新出發(fā)的結(jié)構(gòu)性更新：引入 RBF（Radial Basis Function）數(shù)值嵌入機制。

瓶頸診斷：線性嵌入的 “低秩塌陷”：在 TabPFN-v2、LimiX-16M 乃至早期 FT-Transformer、TabTransformer 等架構(gòu)中，數(shù)值輸入通常采用 “線性映射 + 列 ID” 方案：

這種設(shè)計雖然簡單高效，但存在一個系統(tǒng)性的問題 —— 我們稱之為 “低秩塌陷”。具體來說就是：

• 模型淺層激活高度相關(guān)，特征矩陣在奇異值分解后僅保留個位數(shù)有效秩（能提取的有效特征種類非常有限）；
• 網(wǎng)絡(luò)早期幾乎處于 “線性近似” 狀態(tài)，很難分辨出數(shù)據(jù)中更復(fù)雜的局部變化、分段趨勢或者特殊分布；
• 梯度利用率極低，使得后續(xù)層在優(yōu)化中浪費大量表達能力。

如下圖所示，基于 RBF 嵌入的 LimiX-2M 有效秩很高，而 TabPFN-v2 在前幾層的秩明顯偏低，并且有很大差距。這說明在模型規(guī)模相當(dāng)?shù)那闆r下，RBF 嵌入能夠為網(wǎng)絡(luò)提供更豐富、更多樣的表示基礎(chǔ)。

為了解決嵌入矩陣秩受限這一問題，我們引入了 RaBEL（Radial Basis Embedding Layer），其核心思想是：在嵌入階段就引入非線性表達能力，而非依賴后續(xù)層 “補救”。

結(jié)果是非線性特征在嵌入階段提前形成，淺層即可識別非平滑關(guān)系，從根本上解決低秩問題。

結(jié)語

輕量化、開箱即用的LimiX-2M，在科研探索和實際落地場景均有巨大潛力。它保持前代 LimiX-16M 支持分類、回歸、缺失值插補等多樣化能力，性能遠超現(xiàn)有其它表格模型，同時大幅度降低了顯存占用和時間消耗。

LimiX-2M支持快速高效微調(diào)和適配，成本遠低于現(xiàn)有模型，科研友好。并且可以輕松部署到端側(cè)設(shè)備，具有巨大應(yīng)用價值。