我們都知道 LLM 中存在結(jié)構(gòu)化稀疏性，但其底層機(jī)制一直缺乏統(tǒng)一的理論解釋。為什么模型越深，稀疏性越明顯？為什么會(huì)出現(xiàn)所謂的「檢索頭」和「檢索層」？

我們非常榮幸地宣布，我們?cè)噲D回答這些問(wèn)題的論文 UNCOMP 已被 EMNLP 2025 主會(huì)接收！我們不僅提出了一個(gè)高效的推理框架，更重要的是，我們提供了一個(gè)全新的理論視角來(lái)理解 LLM 內(nèi)部的信息動(dòng)態(tài)。

• 論文標(biāo)題：UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective
• 論文地址：https://arxiv.org/abs/2410.03090
• GitHub：https://github.com/menik1126/UNComp

核心洞察：

一個(gè)關(guān)于熵的悖論與新解

傳統(tǒng)的矩陣熵 (Matrix Entropy)分析存在一個(gè)悖論：它顯示信息熵隨著層數(shù)加深是逐層增加的。這與我們觀察到的「模型越深越稀疏」的現(xiàn)象相矛盾。如果信息在不斷累積，又何來(lái)稀疏一說(shuō)？

我們的關(guān)鍵突破在于引入了截?cái)嗑仃囲?(Truncated Matrix Entropy)。通過(guò)分析 Token 矩陣協(xié)方差奇異值分布的「拐點(diǎn)」，我們只關(guān)注最重要的主成分。驚人的發(fā)現(xiàn)是：

? 截?cái)嗑仃囲仉S著層數(shù)加深，呈現(xiàn)出明顯的逐層遞減趨勢(shì)！

這不僅完美解釋了深層網(wǎng)絡(luò)的稀疏化現(xiàn)象，也為我們的壓縮策略提供了堅(jiān)實(shí)的理論基礎(chǔ)。熵的減少意味著信息變得更加集中和稀疏，為壓縮創(chuàng)造了空間。

從理論到實(shí)踐：

信息流的指引

這個(gè)理論工具讓我們能「看透」模型的內(nèi)部運(yùn)作：

• 識(shí)別關(guān)鍵結(jié)構(gòu)：中間層信息熵的異常波動(dòng)點(diǎn)，精準(zhǔn)地對(duì)應(yīng)了負(fù)責(zé)信息聚合的檢索層 (Retrieval Layers)和負(fù)責(zé)長(zhǎng)程記憶的檢索頭 (Retrieval Heads)。我們不再是盲目壓縮，而是有理論指導(dǎo)的結(jié)構(gòu)化剪枝。

• 最優(yōu)壓縮的奧秘：我們進(jìn)一步分析發(fā)現(xiàn)，最佳的壓縮性能和最終的準(zhǔn)確率的權(quán)衡并非來(lái)自于尋找最優(yōu)的累計(jì)注意力分布，而是來(lái)自于對(duì)「信息流模式」的模仿。我們用皮爾遜相關(guān)系數(shù)證明：當(dāng)壓縮后 KV Cache 的逐層熵變趨勢(shì)，與原始全尺寸 Cache 的趨勢(shì)高度相似時(shí)，模型性能最好。這意味著，我們的壓縮策略成功地保留了模型原有的信息壓縮模式。

• Group Query Attention 結(jié)構(gòu)中呈現(xiàn)出明顯的頭共享的稀疏模式。

首創(chuàng)：

從隱藏狀態(tài)壓縮到 KV Cache 優(yōu)化

基于以上理論，我們?cè)O(shè)計(jì)了 UNCOMP 框架，并首次通過(guò)直接壓縮 Prefill 階段的隱藏狀態(tài)，來(lái)間接優(yōu)化 KV Cache，實(shí)現(xiàn)了計(jì)算與內(nèi)存的聯(lián)合優(yōu)化。

• 層級(jí)壓縮 (Layer-wise):在 Prefill 階段壓縮隱藏狀態(tài)，加速計(jì)算。

• 頭級(jí)壓縮 (Head-wise):在 Decoding 階段壓縮流式頭的 KV Cache，保留檢索頭,節(jié)省內(nèi)存。

實(shí)驗(yàn)結(jié)果亮點(diǎn)

• Prefill 階段加速60%
• 吞吐量提升6.4倍
• KV Cache 壓縮至4.74%

• 極端壓縮率下依舊保證模型的性能

• 通過(guò)合并檢索層和最后的層大海撈針性能幾乎無(wú)損，在特定任務(wù)上超越全尺寸基線。

我們相信，UNCOMP 不僅是一個(gè)工具，更是一扇窗口，幫助我們理解 LLM 內(nèi)部復(fù)雜的信息壓縮行為。

歡迎大家深入探討、引用和 star！