這項由Meta公司FAIR實驗室的賈晨朱（Jiachen Zhu）領導的研究團隊完成的突破性工作，發(fā)表于2025年6月的arXiv預印本平臺（論文編號：arXiv:2503.10622v2），研究團隊還包括來自紐約大學、MIT和普林斯頓大學的頂尖研究人員。有興趣深入了解的讀者可以通過項目主頁jiachenzhu.GitHub.io/DyT獲取完整代碼和論文資料。

十多年來，標準化層一直被認為是現(xiàn)代神經(jīng)網(wǎng)絡不可或缺的核心組件，就像建筑必須有地基一樣重要。然而，這項研究徹底顛覆了這一傳統(tǒng)認知，提出了一個令人驚訝的觀點：我們完全可以不用標準化層，而且效果可能更好。

回到2015年，谷歌的研究人員發(fā)明了批標準化技術，這就像給神經(jīng)網(wǎng)絡裝上了一個智能調(diào)節(jié)器，能夠讓模型訓練變得更快更穩(wěn)定。從那以后，幾乎所有的深度學習模型都離不開各種形式的標準化層，特別是在當今最流行的Transformer架構中，層標準化更是被視為必需品。

然而，Meta的研究團隊通過深入觀察發(fā)現(xiàn)了一個有趣的現(xiàn)象：這些標準化層的工作方式非常像雙曲正切函數(shù)（tanh），都會產(chǎn)生一種S型的輸入輸出關系。基于這個洞察，他們提出了一個極其簡單卻有效的替代方案——動態(tài)雙曲正切（Dynamic Tanh，簡稱DyT）。

DyT的工作原理可以用調(diào)音師調(diào)節(jié)樂器音量來類比。傳統(tǒng)的標準化層就像一個復雜的調(diào)音臺，需要計算各種統(tǒng)計數(shù)據(jù)才能決定如何調(diào)節(jié)，而DyT則像一個簡單的音量旋鈕，通過一個可學習的參數(shù)α來控制輸入信號的強度，然后用tanh函數(shù)將過于極端的值"壓縮"到合理范圍內(nèi)。

最令人驚訝的是，這個看似簡單的替換在各種任務中都表現(xiàn)出色。研究團隊在圖像識別、語言模型、語音處理、圖像生成等多個領域進行了廣泛測試，DyT不僅能夠匹配標準化層的性能，在某些情況下甚至表現(xiàn)更好。更重要的是，這種替換幾乎不需要額外的超參數(shù)調(diào)整，就像更換一個更好用的工具一樣簡單直接。

一、揭開標準化層的神秘面紗

要理解這項研究的重要意義，我們首先需要了解標準化層到底在做什么。可以把神經(jīng)網(wǎng)絡想象成一個巨大的信息處理流水線，每一層都在處理和傳遞信息。在這個過程中，數(shù)據(jù)的分布會發(fā)生各種變化，就像流水線上的產(chǎn)品規(guī)格可能會逐漸偏離標準一樣。

標準化層的作用就像質(zhì)量檢查員，它會檢查每批數(shù)據(jù)的平均值和變化范圍，然后將它們調(diào)整到一個標準的分布。具體來說，標準化層會計算輸入數(shù)據(jù)的均值μ和方差σ?，然后通過公式(x-μ)/√(σ?+ε)將數(shù)據(jù)標準化，最后再通過可學習的參數(shù)γ和β進行縮放和平移。

不同類型的標準化層主要區(qū)別在于如何計算這些統(tǒng)計量。批標準化在整個批次和時間維度上計算統(tǒng)計量，就像對整條流水線的產(chǎn)品進行質(zhì)檢。而層標準化則針對每個樣本的每個位置獨立計算，就像給每個產(chǎn)品單獨做質(zhì)檢。在Transformer架構中，層標準化因其簡單性和有效性而成為主流選擇。

近年來，RMS標準化進一步簡化了這個過程，它省略了減去均值的步驟，只進行方差標準化，就像只檢查產(chǎn)品的變化范圍而不關心平均水平。這種簡化版本在大語言模型中得到了廣泛應用，包括LLaMA、Mistral等知名模型。

二、意外的發(fā)現(xiàn)：標準化層的真實工作方式

研究團隊的一個關鍵發(fā)現(xiàn)來自對已訓練網(wǎng)絡中標準化層行為的細致觀察。他們選擇了三個具有代表性的模型進行分析：在ImageNet數(shù)據(jù)集上訓練的視覺Transformer（ViT-B）、在LibriSpeech上訓練的語音模型wav2vec 2.0，以及在ImageNet上訓練的擴散Transformer（DiT-XL）。

通過對這些模型中標準化層的輸入輸出關系進行可視化分析，研究團隊發(fā)現(xiàn)了一個令人驚訝的現(xiàn)象。在網(wǎng)絡的早期層中，標準化層的行為確實比較接近線性變換，輸入輸出關系基本呈直線狀。然而，在網(wǎng)絡的深層，情況發(fā)生了根本性變化。

深層的標準化層表現(xiàn)出強烈的非線性特征，其輸入輸出關系呈現(xiàn)出典型的S型曲線，與雙曲正切函數(shù)極其相似。這種S型曲線的關鍵特征是：對于大部分處于中等范圍的輸入值，變換基本是線性的；但對于那些極端的輸入值，標準化層會將它們"壓縮"到較小的輸出范圍內(nèi)。

為了更深入理解這種現(xiàn)象，研究團隊進行了進一步的分析。他們發(fā)現(xiàn)，當按照token（數(shù)據(jù)單元）對輸入輸出點進行著色時，每個token的數(shù)據(jù)點確實形成了直線，這符合層標準化的線性特性。然而，由于不同token具有不同的方差，這些直線的斜率各不相同。當把所有token的數(shù)據(jù)點放在一起觀察時，它們共同構成了一個S型的整體模式。

更有趣的是，當按照通道維度進行著色分析時，研究團隊發(fā)現(xiàn)不同通道的輸入值分布范圍差異很大。只有少數(shù)幾個通道會產(chǎn)生極端值，而這些極端值正是被標準化層"壓縮"最厲害的部分。這個發(fā)現(xiàn)揭示了標準化層的一個重要作用機制：它主要是在對少數(shù)極端激活值進行非線性壓縮處理。

三、DyT的誕生：從觀察到創(chuàng)新

基于對標準化層行為的深入理解，研究團隊提出了動態(tài)雙曲正切（DyT）這一替代方案。DyT的設計理念可以用一個簡單的類比來解釋：如果標準化層是一個復雜的自動調(diào)節(jié)系統(tǒng)，那么DyT就是一個手動但精確的調(diào)節(jié)旋鈕。

DyT的數(shù)學表達非常簡潔：DyT(x) = γ * tanh(αx) + β。這里α是一個可學習的標量參數(shù)，負責調(diào)節(jié)輸入的縮放程度；tanh函數(shù)則負責將極端值壓縮到[-1,1]的范圍內(nèi)；γ和β是與標準化層相同的可學習向量參數(shù)，用于最終的縮放和平移。

這個設計的巧妙之處在于它直接模擬了標準化層的核心行為模式。α參數(shù)扮演著"智能縮放器"的角色，它會學習如何將輸入調(diào)節(jié)到合適的范圍，使得tanh函數(shù)能夠發(fā)揮最佳的壓縮效果。對于大部分正常范圍內(nèi)的輸入，tanh函數(shù)表現(xiàn)得近似線性；對于極端值，它則提供強有力的非線性壓縮。

與傳統(tǒng)標準化層相比，DyT有幾個顯著優(yōu)勢。首先，它不需要計算任何統(tǒng)計量，這意味著計算開銷更小，實現(xiàn)更簡單。其次，它是一個純粹的逐元素操作，不涉及跨維度的信息聚合，這使得它在并行計算方面更有優(yōu)勢。最重要的是，它直接針對標準化層的核心功能——極值壓縮進行了優(yōu)化設計。

在實際應用中，將DyT集成到現(xiàn)有架構中非常簡單，就像更換一個零件一樣直接。每個標準化層都可以被一個DyT層直接替換，無論是在注意力塊、前饋網(wǎng)絡還是最終的輸出層。這種簡單性使得DyT具有很強的實用價值。

四、全面驗證：跨領域的卓越表現(xiàn)

為了驗證DyT的有效性，研究團隊進行了一系列全面而嚴格的實驗。這些實驗覆蓋了從監(jiān)督學習到自監(jiān)督學習，從計算機視覺到自然語言處理的各個領域，就像對一個新產(chǎn)品進行全方位的質(zhì)量測試。

在圖像分類任務中，研究團隊使用了ImageNet-1K數(shù)據(jù)集對視覺Transformer和ConvNeXt模型進行了測試。結果顯示，DyT在所有測試配置中都達到或超過了標準化層的性能。以ViT-B為例，使用層標準化的準確率為82.3%，而使用DyT的準確率達到了82.5%。更大的ViT-L模型表現(xiàn)出更明顯的改進，從83.1%提升到83.6%。

在自監(jiān)督學習領域，研究團隊測試了兩種流行的方法：掩碼自編碼器（MAE）和DINO。這些方法的特點是不使用標注數(shù)據(jù)進行預訓練，而是讓模型從數(shù)據(jù)本身學習有用的表示。實驗結果表明，DyT在這些更具挑戰(zhàn)性的任務中同樣表現(xiàn)出色，證明了其泛化能力。

圖像生成領域的測試同樣令人印象深刻。研究團隊使用擴散Transformer（DiT）模型在ImageNet數(shù)據(jù)集上進行了圖像生成實驗。他們使用Fréchet Inception Distance（FID）作為評估指標，這是衡量生成圖像質(zhì)量的金標準。結果顯示，DyT在大多數(shù)模型配置中都獲得了更好的FID分數(shù)，意味著生成的圖像質(zhì)量更高。

在大語言模型領域，研究團隊對LLaMA系列模型進行了全面測試，包括7B、13B、34B和70B參數(shù)的版本。這些模型在200B個token上進行預訓練，然后在15個零樣本常識推理任務上進行評估。結果顯示，使用DyT的模型在所有規(guī)模上都達到了與RMS標準化相當?shù)男阅埽C明了DyT在大規(guī)模語言建模中的有效性。

語音處理領域的實驗使用了wav2vec 2.0模型，這是語音自監(jiān)督學習的經(jīng)典架構。在LibriSpeech數(shù)據(jù)集上的預訓練結果表明，DyT能夠很好地適應語音數(shù)據(jù)的特殊性質(zhì)，保持了與層標準化相當?shù)男阅堋?/p>

最有趣的是DNA序列建模實驗。研究團隊測試了HyenaDNA和Caduceus兩個專門用于基因組分析的模型。這些模型需要處理極長的DNA序列，對標準化層的要求特別嚴格。實驗結果顯示，DyT在這個高度專業(yè)化的領域同樣表現(xiàn)出色，進一步證明了其廣泛的適用性。

五、深入解析：DyT成功的秘密

為了理解DyT為什么如此有效，研究團隊進行了一系列深入的分析實驗。這些分析就像對一個成功產(chǎn)品進行逆向工程，試圖理解其成功的關鍵要素。

首先，研究團隊驗證了tanh函數(shù)的重要性。他們嘗試用其他激活函數(shù)替換tanh，包括hardtanh和sigmoid函數(shù)。實驗結果表明，雖然這些函數(shù)都具有壓縮極值的能力，但tanh函數(shù)的性能最佳。研究團隊認為這可能與tanh函數(shù)的平滑性和零中心特性有關。更重要的是，當他們嘗試移除壓縮函數(shù)，只保留線性縮放時，模型訓練變得不穩(wěn)定甚至發(fā)散，這證明了非線性壓縮的關鍵作用。

其次，可學習參數(shù)α的作用同樣至關重要。當研究團隊移除α參數(shù)時，所有壓縮函數(shù)的性能都出現(xiàn)了顯著下降。這表明，簡單的固定壓縮是不夠的，模型需要學習如何動態(tài)調(diào)節(jié)輸入的縮放程度。

對α參數(shù)的深入分析揭示了DyT工作機制的另一個重要方面。研究團隊發(fā)現(xiàn)，在訓練過程中，α的值與輸入激活標準差的倒數(shù)高度相關。這意味著α實際上在學習一種標準化的效果，但它是在全局層面而不是局部層面進行標準化。訓練結束后，不同層的α值與對應層輸入激活的標準差倒數(shù)之間存在強烈的正相關關系，而且深層的α值普遍較大，這與深層網(wǎng)絡激活方差較大的特點相吻合。

這個發(fā)現(xiàn)揭示了DyT的一個重要特性：它部分承擔了標準化的功能，但采用了完全不同的方式。傳統(tǒng)標準化層通過計算統(tǒng)計量來動態(tài)調(diào)節(jié)，而DyT通過學習固定的縮放參數(shù)來達到類似效果。這種方法的優(yōu)勢在于計算效率更高，同時避免了統(tǒng)計量計算可能帶來的數(shù)值不穩(wěn)定問題。

六、與其他無標準化方法的對比

為了更全面地評估DyT的優(yōu)勢，研究團隊將其與其他旨在移除標準化層的方法進行了比較。這些方法主要分為兩類：基于初始化的方法和基于權重標準化的方法。

基于初始化的方法，如Fixup和SkipInit，試圖通過精心設計的參數(shù)初始化策略來穩(wěn)定訓練過程。這類方法的理念是，如果能夠在訓練開始時就確保激活值和梯度在合理范圍內(nèi)，就可以避免使用標準化層。然而，實驗結果表明，這些方法通常需要顯著降低學習率才能保持訓練穩(wěn)定，而且最終性能往往不如使用標準化層的模型。

基于權重標準化的方法，如σReparam，通過對網(wǎng)絡權重施加約束來維持訓練穩(wěn)定性。這類方法的思路是控制權重的譜范數(shù)，從而間接控制激活值的分布。雖然這種方法在某些情況下能夠達到與標準化層相當?shù)男阅?，但它增加了訓練的復雜性，而且對超參數(shù)設置比較敏感。

相比之下，DyT的優(yōu)勢非常明顯。它不需要復雜的初始化策略，不需要對權重施加額外約束，也不需要大幅調(diào)整學習率。在ViT-B和ViT-L的實驗中，DyT的性能始終優(yōu)于其他無標準化方法，而且在MAE等自監(jiān)督學習任務中優(yōu)勢更加明顯。

這種對比揭示了DyT成功的一個重要原因：它直接針對標準化層的核心功能進行了優(yōu)化，而不是試圖通過間接手段來避免使用標準化層。這種直接的方法使得DyT既簡單又有效。

七、初始化策略：不同場景的精細調(diào)優(yōu)

雖然DyT在大多數(shù)情況下都可以使用默認設置，但研究團隊發(fā)現(xiàn)，在某些特殊場景下，適當?shù)某跏蓟{(diào)優(yōu)可以進一步提升性能。這就像調(diào)節(jié)樂器一樣，雖然標準調(diào)音適用于大多數(shù)場合，但在特殊演出中可能需要微調(diào)。

對于大多數(shù)非語言模型任務，α的默認初始值0.5已經(jīng)足夠好。研究團隊在各種視覺、語音和生物序列建模任務中驗證了這一點。在這些任務中，調(diào)整α初始值通常只能帶來微小的性能提升，而且有時甚至沒有改善。

然而，在大語言模型訓練中，情況有所不同。研究團隊發(fā)現(xiàn)，仔細調(diào)優(yōu)α的初始值可以顯著提升模型性能。更有趣的是，他們發(fā)現(xiàn)不同位置的DyT層需要不同的初始化策略。具體來說，注意力塊中的DyT層需要較大的α初始值，而前饋網(wǎng)絡和最終輸出層的DyT層需要較小的初始值。

這種差異化初始化策略的發(fā)現(xiàn)過程本身就很有趣。研究團隊通過系統(tǒng)性的網(wǎng)格搜索實驗，測試了不同α初始值組合對LLaMA模型性能的影響。他們發(fā)現(xiàn)，模型寬度是決定最優(yōu)α初始值的關鍵因素：越寬的模型需要越小的α初始值，而且注意力塊和其他位置之間的差異也越大。

這個發(fā)現(xiàn)為我們理解大語言模型的訓練動態(tài)提供了新的視角。研究團隊推測，這種初始化敏感性可能與大語言模型的超大寬度有關。在這些模型中，不同層和不同位置的激活分布可能存在顯著差異，因此需要更精細的初始化策略來確保訓練穩(wěn)定性。

八、DyT的局限性與適用邊界

盡管DyT在多個領域都表現(xiàn)出色，但研究團隊也誠實地報告了其局限性。這種科學的態(tài)度體現(xiàn)了嚴謹?shù)难芯烤瘢矠楹罄m(xù)研究指明了方向。

最明顯的局限性出現(xiàn)在經(jīng)典卷積神經(jīng)網(wǎng)絡中。當研究團隊嘗試用DyT替換ResNet-50和VGG19中的批標準化層時，性能出現(xiàn)了明顯下降。ResNet-50的準確率從76.2%下降到68.9%，VGG19從72.7%下降到71.0%。這個結果表明，DyT并不是標準化層的通用替代品。

研究團隊分析認為，這種局限性可能與網(wǎng)絡架構的特性有關。在經(jīng)典卷積網(wǎng)絡中，標準化層出現(xiàn)得非常頻繁，幾乎每個卷積層后都有一個批標準化層。而在Transformer架構中，標準化層的密度相對較低，每個Transformer塊只包含少數(shù)幾個標準化層。這種差異可能導致DyT在高密度標準化的網(wǎng)絡中難以發(fā)揮最佳效果。

另一個需要注意的局限性是計算效率方面的。雖然DyT在理論上更簡單，但研究團隊發(fā)現(xiàn)，在經(jīng)過編譯優(yōu)化的情況下，DyT并不比標準化層更快。這主要是因為現(xiàn)代深度學習框架對標準化操作進行了高度優(yōu)化，而tanh函數(shù)的計算雖然簡單，但在某些硬件上可能不如優(yōu)化過的標準化操作快。

不過，研究團隊也指出，DyT作為逐元素操作，在某些特殊硬件配置或部署環(huán)境中可能具有優(yōu)勢。特別是在那些reduction操作成為瓶頸的場景中，DyT可能表現(xiàn)得更好。此外，DyT與前面的矩陣乘法操作融合的潛力也值得進一步探索。

九、理論意義與實踐價值

這項研究的意義遠遠超出了提出一個新的技術組件。它挑戰(zhàn)了深度學習領域一個根深蒂固的觀念：標準化層是現(xiàn)代神經(jīng)網(wǎng)絡不可或缺的組成部分。

從理論角度來看，這項研究為我們理解標準化層的工作機制提供了新的視角。通過揭示標準化層實際上主要發(fā)揮非線性壓縮的作用，研究團隊幫助我們重新思考這些組件在神經(jīng)網(wǎng)絡中的真正價值。這種理解可能會啟發(fā)更多關于網(wǎng)絡架構設計的新思路。

DyT的成功也證明了一個重要觀點：復雜的解決方案并不總是最好的。有時候，簡單直接的方法可能更加有效。這個教訓在工程實踐中具有重要價值，提醒我們在設計新系統(tǒng)時不要過度復雜化。

從實踐角度來看，DyT為現(xiàn)有模型的改進提供了一個簡單易行的選擇。由于DyT可以直接替換標準化層而無需大幅修改訓練流程，它為已有的模型和訓練代碼庫提供了一條低成本的升級路徑。這種實用性使得DyT具有很高的應用價值。

更重要的是，這項研究展示了深入分析現(xiàn)有技術的價值。通過仔細觀察和分析標準化層的實際行為，研究團隊發(fā)現(xiàn)了改進的機會。這種方法論對其他研究者也具有啟發(fā)意義：有時候，最大的創(chuàng)新來自對現(xiàn)有技術的深入理解，而不是完全從零開始。

十、對未來的啟發(fā)與展望

DyT的成功開啟了多個有趣的研究方向。首先，這項工作可能會激發(fā)研究者重新審視其他被認為"必需"的網(wǎng)絡組件。如果標準化層可以被簡化，那么其他復雜組件是否也存在類似的機會？

其次，DyT在不同領域表現(xiàn)出的差異化特性值得深入研究。為什么它在Transformer架構中表現(xiàn)出色，但在經(jīng)典卷積網(wǎng)絡中效果不佳？理解這種差異可能會幫助我們更好地理解不同架構的本質(zhì)特征。

從工程實踐的角度來看，DyT的成功也提醒我們關注算法的可解釋性和簡潔性。在追求更高性能的同時，保持算法的簡潔和可理解性同樣重要。這種平衡在實際應用中具有重要價值。

此外，DyT在大語言模型中需要精細初始化調(diào)優(yōu)的發(fā)現(xiàn)，也為我們理解超大規(guī)模模型的訓練動態(tài)提供了新的線索。這可能會推動對大模型訓練理論的進一步研究。

研究團隊也誠實地指出了當前工作的不足。DyT目前主要針對使用層標準化或RMS標準化的模型進行了驗證，對于其他類型標準化層的適用性還需要進一步研究。此外，DyT在不同硬件平臺上的性能優(yōu)化潛力也值得探索。

說到底，這項研究最大的價值可能在于它展示了科學研究中"質(zhì)疑常識"的重要性。十年來，整個深度學習社區(qū)都認為標準化層是必需的，但通過仔細的觀察和分析，研究團隊發(fā)現(xiàn)了一個更簡單有效的替代方案。這種勇于挑戰(zhàn)既定觀念的精神，正是推動科學進步的根本動力。

對于普通讀者來說，這項研究傳達了一個重要信息：在快速發(fā)展的技術領域，保持質(zhì)疑精神和探索欲望至關重要。有時候，最重要的發(fā)現(xiàn)就隱藏在我們習以為常的事物中，關鍵是要有發(fā)現(xiàn)它們的眼光和勇氣。

隨著DyT代碼的開源發(fā)布，相信會有更多研究者和工程師嘗試這種新方法，進一步驗證和擴展其應用范圍。這種開放的研究態(tài)度也體現(xiàn)了現(xiàn)代科學研究的協(xié)作精神，通過共享知識和工具來加速整個領域的進步。

Q&A

Q1：DyT是什么？它是如何工作的？ A：DyT（Dynamic Tanh）是Meta提出的一種用來替代神經(jīng)網(wǎng)絡中標準化層的新技術。它的工作原理很簡單：通過一個可學習的參數(shù)α來調(diào)節(jié)輸入信號的強度，然后用tanh函數(shù)將極端值壓縮到合理范圍內(nèi)。就像用一個智能音量旋鈕來控制信號，既能放大微弱信號，又能壓制過強信號。

Q2：DyT會不會完全取代傳統(tǒng)的標準化層？ A：目前不會完全取代。雖然DyT在Transformer架構中表現(xiàn)出色，但在經(jīng)典的卷積神經(jīng)網(wǎng)絡（如ResNet）中效果不如傳統(tǒng)標準化層。研究團隊發(fā)現(xiàn)DyT更適合標準化層密度較低的架構，而在高密度標準化的網(wǎng)絡中可能難以發(fā)揮最佳效果。

Q3：普通開發(fā)者如何使用DyT？有什么要求？ A：使用DyT非常簡單，只需要將現(xiàn)有模型中的標準化層直接替換成DyT層即可，幾乎不需要修改其他代碼。研究團隊已經(jīng)在GitHub上開源了完整代碼（jiachenzhu.github.io/DyT），支持各種主流深度學習框架。對于大多數(shù)任務，使用默認參數(shù)設置就能獲得良好效果。