在基礎(chǔ)模型領(lǐng)域，模型規(guī)模與性能之間的縮放定律（Scaling Law）已被廣泛驗(yàn)證，但模型增大也伴隨著訓(xùn)練成本、存儲(chǔ)需求和能耗的急劇上升。如何在控制參數(shù)量的前提下高效擴(kuò)展模型，成為當(dāng)前研究的關(guān)鍵挑戰(zhàn)。

針對(duì)這一挑戰(zhàn)，來(lái)自北京理工大學(xué)、華為諾亞方舟實(shí)驗(yàn)室及香港城市大學(xué)的研究團(tuán)隊(duì)提出了 ScaleNet 方法。該方法創(chuàng)新性地實(shí)現(xiàn)了 “用僅少量額外參數(shù)量，將模型深度擴(kuò)展一倍”，并在視覺(jué) Transformer（ViT）和大語(yǔ)言模型（LLM）上均驗(yàn)證了其有效性，顯著提升了模型性能。這一成果表明 ScaleNet 具備成為通用、經(jīng)濟(jì)高效的模型擴(kuò)展框架的潛力，適用于視覺(jué)與語(yǔ)言多種任務(wù)。

• 論文地址：https://arxiv.org/abs/2510.18431
• 開源代碼：https://github.com/Hao840/ScaleNet

研究動(dòng)機(jī)：模型擴(kuò)展的高昂成本

當(dāng)前，從頭訓(xùn)練一個(gè)大規(guī)模模型計(jì)算代價(jià)巨大。為此，研究界探索了 “漸進(jìn)式訓(xùn)練”（Progressive Training）等方法，通過(guò)復(fù)用小模型的權(quán)重來(lái)初始化大模型，以加速訓(xùn)練。然而，這些方法通常會(huì)引入大量新的、獨(dú)立的參數(shù)，不僅拖慢了優(yōu)化進(jìn)程，也帶來(lái)了巨大的存儲(chǔ)開銷。

針對(duì)這一核心問(wèn)題，ScaleNet 提出可以在保持參數(shù)效率的同時(shí)，實(shí)現(xiàn)模型的有效擴(kuò)展。

核心方法：權(quán)重共享與增量調(diào)整

ScaleNet 的核心設(shè)計(jì)結(jié)合了兩種技術(shù)：層級(jí)權(quán)重共享（Layer-wise Weight Sharing）和輕量級(jí)適配器（Lightweight Adapter）。

技術(shù)一：層級(jí)權(quán)重共享，實(shí)現(xiàn)參數(shù)高效

不同于為新層引入全新參數(shù)的傳統(tǒng)做法，ScaleNet 讓新增加的層與預(yù)訓(xùn)練模型中的已有層共享同一套參數(shù)。如下圖所示，傳統(tǒng)的漸進(jìn)式訓(xùn)練（a）中，新層擁有獨(dú)立的參數(shù)。而在 ScaleNet（b）中，新層與原始層共享參數(shù)（Weight sharing）。這種設(shè)計(jì)極大地提升了參數(shù)效率，并通過(guò)復(fù)用已有知識(shí)加速了模型的學(xué)習(xí)過(guò)程。

圖 1 漸進(jìn)式訓(xùn)練與 ScaleNet 的對(duì)比

技術(shù)二：輕量級(jí)適配器，賦予共享層特異性

完全的權(quán)重共享可能導(dǎo)致不同層功能趨同，限制模型的表達(dá)能力。為解決此問(wèn)題，ScaleNet 為每個(gè)共享層引入了一個(gè)小型的、可訓(xùn)練的并行適配器模塊（Adapter Module）。該模塊僅包含極少量的調(diào)整參數(shù)，用于為每個(gè)共享層實(shí)例提供獨(dú)特的調(diào)整，使它們?cè)诠蚕碇R(shí)主體的同時(shí)，又能學(xué)習(xí)到各自的特異化功能，從而保證了擴(kuò)展后模型的容量和性能。

圖 2 ScaleNet 的整體框架

實(shí)驗(yàn)結(jié)果與分析

基于視覺(jué)模型的性能與效率評(píng)估

在 ImageNet-1K 圖像分類任務(wù)上，ScaleNet 在多種模型架構(gòu)（如 DeiT 和 Swin）上均表現(xiàn)出色，在參數(shù)量相近的情況下，穩(wěn)定取得了比基線方法更高的準(zhǔn)確率。

表 1 ScaleNet 與 baseline 方法的性能對(duì)比

相比于直接訓(xùn)練，ScaleNet 另一個(gè)優(yōu)勢(shì)體現(xiàn)在訓(xùn)練效率上。以 24 層的 DeiT-Small 模型為例：

• 從零訓(xùn)練：訓(xùn)練 300 個(gè) epoch，耗時(shí) 47.3 小時(shí)，準(zhǔn)確率為 79.31%。
• ScaleNet：僅需 100 個(gè) epoch，耗時(shí) 15.8 小時(shí)，準(zhǔn)確率達(dá)到 81.13%。

表 2 直接訓(xùn)練與 ScaleNet 之間的開銷與性能對(duì)比

這一結(jié)果表明，ScaleNet 通過(guò)有效利用預(yù)訓(xùn)練知識(shí)，大幅縮短了訓(xùn)練周期，同時(shí)獲得了更優(yōu)的模型性能。

基于大語(yǔ)言模型的通用性驗(yàn)證

為了驗(yàn)證 ScaleNet 作為一種通用方法的潛力，研究團(tuán)隊(duì)將其應(yīng)用到了自然語(yǔ)言處理領(lǐng)域。他們使用 ScaleNet 對(duì) Llama-3.2-1B 語(yǔ)言模型進(jìn)行擴(kuò)展，并在多個(gè)常識(shí)推理基準(zhǔn)測(cè)試集上進(jìn)行評(píng)估。

實(shí)驗(yàn)結(jié)果（如表 3 所示）表明，擴(kuò)展后的模型在 BoolQ、PIQA、HellaSwag 等多個(gè)任務(wù)上均超越了原始模型，平均性能提升了 0.92%。這一成功實(shí)踐證明，ScaleNet 的核心思想并不局限于視覺(jué)領(lǐng)域，而是一種具備跨模態(tài)通用性的模型擴(kuò)展框架。

表 3 在大語(yǔ)言模型上的實(shí)驗(yàn)結(jié)果

此外，該方法在目標(biāo)檢測(cè)、語(yǔ)義分割等下游視覺(jué)任務(wù)中同樣取得了穩(wěn)定提升，進(jìn)一步證實(shí)了其良好的泛化能力。

總結(jié)

ScaleNet 框架通過(guò)層級(jí)權(quán)重共享與輕量級(jí)適配器的有效結(jié)合，為預(yù)訓(xùn)練模型的擴(kuò)展提供了一條高效、低成本的技術(shù)路徑。它不僅在視覺(jué)任務(wù)上大幅提升了訓(xùn)練效率和模型性能，還通過(guò)成功應(yīng)用于大語(yǔ)言模型證明了其作為一種通用擴(kuò)展范式的巨大潛力。這項(xiàng)工作為開發(fā)更大、更強(qiáng)且更經(jīng)濟(jì)的 AI 模型提供了新的思路，對(duì)促進(jìn) AI 領(lǐng)域的可持續(xù)發(fā)展具有積極意義。