本工作由紐約大學(xué) NYU SAI Lab 的碩士生王宇彤與博士生王海宇合作完成。本文的通訊作者為張賽騫，他是紐約大學(xué)（New York University）計(jì)算機(jī)科學(xué)系助理教授、SAI Lab 負(fù)責(zé)人，其研究方向涵蓋多模態(tài)大模型（Vision-Language Models）壓縮與加速、低比特量化、高效推理以及可信智能系統(tǒng)。

在多模態(tài)智能浪潮中，視覺語(yǔ)言模型（Vision-Language Models, VLM）已成為連接視覺理解與語(yǔ)言生成的核心引擎。從圖像描述、視覺問答到 AI 教育和交互系統(tǒng)，它們讓機(jī)器能夠「看懂世界、說(shuō)人話」。

然而，強(qiáng)大的性能也帶來(lái)了沉重的代價(jià)——模型動(dòng)輒上百億參數(shù)，顯存和計(jì)算壓力巨大。以 LLaVA-13B 為例，推理時(shí) Key-Value 緩存（KV cache）體積極大，速度慢、資源耗盡，這讓多模態(tài)/大模型的「落地」之路異常艱難。

面對(duì)這一瓶頸，來(lái)自紐約大學(xué)的研究團(tuán)隊(duì) SAI Lab 在 NeurIPS 2025 上提出了一項(xiàng)突破性工作——QSVD（Efficient Low-rank Approximation for Unified Query-Key-Value Weight Compression in Low-Precision Vision-Language Models）。它通過(guò)「聯(lián)合低秩分解 + 量化」的創(chuàng)新策略，為多模態(tài)模型找到了一條「輕量化而不減智」的新路徑。

• 論文標(biāo)題：QSVD: Efficient Low-rank Approximation for Unified Query-Key-Value Weight Compression in Low-Precision Vision-Language Models
• 論文地址：https://arxiv.org/abs/2510.16292
• Github：https://github.com/SAI-Lab-NYU/QSVD

讓多模態(tài)模型「減負(fù)」：

從 Key-Value 緩存出發(fā)

視覺語(yǔ)言模型的強(qiáng)大來(lái)自 Transformer 中的注意力機(jī)制，但這也帶來(lái)巨大的 KV 緩存壓力?，F(xiàn)有方案如 Grouped-Query Attention、Multi-Query Attention、DeepSeek 的 MLA 等雖能降低計(jì)算開銷，卻要么精度受損，要么需要重新訓(xùn)練。

QSVD 的目標(biāo)很明確：不改架構(gòu)、不重新訓(xùn)練，只通過(guò)數(shù)學(xué)壓縮就讓模型更輕、更快、更穩(wěn)。

核心思想：

聯(lián)合 QKV 奇異值分解（Joint SVD over QKV）

傳統(tǒng)做法是分別對(duì) Q、K、V 矩陣進(jìn)行奇異值分解（SVD），而 QSVD 首創(chuàng)聯(lián)合分解（Joint SVD）

這帶來(lái)三大優(yōu)勢(shì)：

• 計(jì)算更少：降維乘法減少矩陣乘法；
• 顯存更?。?/strong>只緩存一個(gè)中間表示，KV 緩存量減半；
• 表示更穩(wěn)：聯(lián)合分解保持 Q/K/V 之間的語(yǔ)義耦合，不損失信息。

自適應(yīng)秩分配：

讓壓縮更聰明

QSVD 進(jìn)一步提出跨層秩分配策略（Cross-layer Rank Allocation）。不同層的重要性不同，不能「一刀切」地壓縮。研究者通過(guò)梯度近似計(jì)算每個(gè)奇異值對(duì)模型損失的影響，得到重要性評(píng)分，并在全模型范圍內(nèi)排序與截?cái)唷?/p>

這樣，模型可以智能決定「該減多少秩、留多少精度」，實(shí)現(xiàn)全局最優(yōu)的壓縮配置。

低比特量化 + 異常值平滑

僅靠低秩近似還不夠。為了進(jìn)一步提升硬件效率，QSVD 結(jié)合了后訓(xùn)練量化（PTQ）與異常值平滑（Outlier Smoothing）。

實(shí)驗(yàn)結(jié)果：

更輕、更快、更準(zhǔn)

研究團(tuán)隊(duì)在 LLaVA-v1.5（7B/13B）、LLaVA-Next 和 SmolVLM 等模型上進(jìn)行了系統(tǒng)評(píng)估，結(jié)果令人驚喜：

• FP16 比 ASVD 與 SVD-LLM 精度高 10% 以上；
• W8A8（8 位量化）下幾乎無(wú)精度損失，W4A4 極低比特條件下依然穩(wěn)定工作
• 推理速度最高提升 13 倍。

這些結(jié)果說(shuō)明，QSVD 不僅壓縮模型，還讓模型更「聰明」。

技術(shù)總結(jié)：

三步實(shí)現(xiàn)高效多模態(tài)推理

• Joint SVD over QKV

拼接 Q/K/V 矩陣，統(tǒng)一做低秩分解；

• Cross-layer Rank Allocation

按重要性分配秩，全局最優(yōu)壓縮；

• Quantization with Outlier Smoothing

旋轉(zhuǎn)量化 + 可學(xué)習(xí)奇異值分配，抑制異常值。

三步即可打造出低顯存、高精度、快速響應(yīng)的多模態(tài)大模型。

結(jié)語(yǔ)

在這項(xiàng)工作中，我們提出了QSVD—— 一個(gè)將奇異值分解（SVD）與量化（Quantization）結(jié)合的統(tǒng)一框架，用于高效壓縮視覺語(yǔ)言模型（VLM）。通過(guò)對(duì) Q、K、V 權(quán)重矩陣的聯(lián)合分解，并引入跨層自適應(yīng)秩分配策略，QSVD 在幾乎不損失精度的前提下，顯著降低了計(jì)算開銷、KV 緩存規(guī)模與模型存儲(chǔ)成本。

雖然量化操作應(yīng)用于整個(gè)模型，但壓縮的核心集中在自注意力層（Self-Attention Layers）的 QKV 權(quán)重上，這正是影響推理效率的關(guān)鍵環(huán)節(jié)。未來(lái)，我們計(jì)劃將優(yōu)化范圍擴(kuò)展至跨模塊聯(lián)合壓縮與自適應(yīng)優(yōu)化，進(jìn)一步推動(dòng)多模態(tài)模型的系統(tǒng)級(jí)輕量化。

值得注意的是，提高模型效率也意味著更強(qiáng)的可部署性與普惠性。當(dāng)更強(qiáng)大的模型能夠被更廣泛地使用時(shí)，它們將有潛力加速教育、醫(yī)療、創(chuàng)意與人機(jī)交互的發(fā)展——但同時(shí)也可能帶來(lái)監(jiān)控、隱私與虛假信息傳播等風(fēng)險(xiǎn)。如何在開放與安全之間取得平衡，是下一階段研究必須正視的問題。

論文與代碼均已公開，歡迎感興趣的同學(xué)閱讀、復(fù)現(xiàn)以及深入討論。