編輯｜冷貓

最近，或許是年底了，谷歌的發(fā)布變得有些密集。比如昨天，谷歌發(fā)布了在智能 / 成本上全球性價比最高的模型 Gemini 3 Flash。

在 Gemini 3 Flash 發(fā)布后，大家都以為谷歌今年的模型發(fā)布已經(jīng)收官的時候，谷歌卻又掏出了一個讓大家都意想不到的模型更新：T5Gemma 2

T5Gemma 系列模型似乎沒能給大眾留下什么深刻印象。今年 7 月，谷歌第一次發(fā)布了 T5Gemma 模型系列，并且一口氣發(fā)布了 32 個模型。

從模型名稱可以看出，T5Gemma 系列模型與 T5 息息相關(guān)。T5（Text-to-Text Transfer Transformer） 是 Google 在 2019 年提出的一種編碼器 - 解碼器（Encoder–Decoder）大模型框架，「編解碼器大模型」的思想源頭，幾乎都能追溯到 T5。

T5Gemma 使用了「適應(yīng)（adaptation）」技術(shù)將已經(jīng)完成預(yù)訓(xùn)練的僅解碼器模型轉(zhuǎn)換為編碼器 - 解碼器架構(gòu)。

但遺憾的是，「編碼器 - 解碼器架構(gòu)」始終沒有成為大模型世界的主流，在「僅解碼器」大語言模型快速迭代的大背景下難逃逐漸被邊緣化的命運(yùn)。

谷歌是為數(shù)不多仍在堅(jiān)持編碼器 - 解碼器架構(gòu)大模型的玩家。

今年上半年，谷歌發(fā)布了開放模型 Gemma 3 系列，性能強(qiáng)大，反響熱烈，衍生出許多基于 Gemma 3 系列模型的優(yōu)秀工作。這次更新的 T5Gemma 2 模型正是其中之一。

簡而言之：T5Gemma 2，是谷歌新一代編碼器 - 解碼器模型，是首個多模態(tài)和長上下文的編碼器 - 解碼器模型，建立在 Gemma 3 的強(qiáng)大功能之上。

主要創(chuàng)新和升級功能包括：

• 支持多模態(tài)
• 擴(kuò)展長上下文
• 開箱即用，支持 140 多種語言
• 效率提升的架構(gòu)創(chuàng)新

同時，谷歌向社區(qū)發(fā)布了 270M–270M、1B–1B 以及 4B–4B 三種規(guī)模的預(yù)訓(xùn)練模型，是社區(qū)中首個支持超長上下文（最高 128K）的高性能編解碼器大語言模型

• 論文鏈接: https://arxiv.org/abs/2512.14856
• HuggingFace 鏈接: https://huggingface.co/collections/google/t5gemma-2
• 博客鏈接: https://blog.google/technology/developers/t5gemma-2

T5Gemma 2 延續(xù)了 T5Gemma 的「適應(yīng)（adaptation）」訓(xùn)練路線：將一個預(yù)訓(xùn)練的純解碼器模型適配為編解碼器模型；同時，底座采用 Gemma 3 模型，通過結(jié)合 Gemma 3 中的關(guān)鍵創(chuàng)新，將這一技術(shù)擴(kuò)展到了視覺 - 語言模型領(lǐng)域。

新架構(gòu)，新能力

高效的架構(gòu)創(chuàng)新

T5Gemma 2 不僅僅是一次再訓(xùn)練。它在繼承 Gemma 3 系列許多強(qiáng)大特性的同時，還進(jìn)行了重要的架構(gòu)變更：

1. 詞嵌入綁定

在編碼器與解碼器之間 共享詞嵌入?yún)?shù)。這一設(shè)計(jì)顯著降低了模型的總體參數(shù)量，使我們能夠在相同的顯存 / 內(nèi)存占用下容納更多有效能力 —— 這對全新的 270M–270M 緊湊模型尤為關(guān)鍵。

2. 合并注意力

在解碼器中，我們采用了合并注意力機(jī)制，將自注意力（self-attention）與交叉注意力（cross-attention）融合為單一、統(tǒng)一的注意力層。這一做法減少了模型參數(shù)和架構(gòu)復(fù)雜度，提升了模型并行化效率，同時也有利于推理性能的提升。

新一代模型能力

得益于 Gemma 3 的能力，T5Gemma 2 在模型能力上實(shí)現(xiàn)了顯著升級：

1. 多模態(tài)能力

T5Gemma 2 模型能夠同時理解和處理圖像與文本。通過引入一個高效的視覺編碼器，模型可以自然地完成視覺問答和多模態(tài)推理等任務(wù)。

2. 超長上下文

我們對上下文窗口進(jìn)行了大幅擴(kuò)展。借助 Gemma 3 的局部 — 全局交替注意力機(jī)制（alternating local and global attention），T5Gemma 2 能夠支持最長達(dá) 128K token 的上下文輸入。

3. 大規(guī)模多語言支持

通過在規(guī)模更大、更加多樣化的數(shù)據(jù)集上進(jìn)行訓(xùn)練，T5Gemma 2 開箱即用即可支持 140 多種語言。

性能結(jié)果

T5Gemma 2 為緊湊型編碼器 - 解碼器模型設(shè)定了新的標(biāo)準(zhǔn)，在關(guān)鍵能力領(lǐng)域表現(xiàn)出色，繼承了 Gemma 3 架構(gòu)強(qiáng)大的多模態(tài)和長上下文特性。

Gemma 3、T5Gemma 和 T5Gemma 2 在五個獨(dú)特能力上的預(yù)訓(xùn)練性能。

如上圖所示，T5Gemma 2 展現(xiàn)出以下突出優(yōu)勢：

• 強(qiáng)大的多模態(tài)性能：在多個基準(zhǔn)測試中超越 Gemma 3。原本僅支持文本的 Gemma 3 基礎(chǔ)模型（270M 與 1B） 成功適配為 高效的多模態(tài)編解碼器模型。
• 卓越的長上下文能力：相較于 Gemma 3 和 T5Gemma，在生成質(zhì)量上取得了顯著提升。通過引入獨(dú)立的編碼器，T5Gemma 2 在處理長上下文問題時表現(xiàn)更佳。
• 全面提升的通用能力：在 代碼、推理和多語言 等任務(wù)上，T5Gemma 2 整體上均優(yōu)于其對應(yīng)規(guī)模的 Gemma 3 模型。

訓(xùn)練后性能。這里的結(jié)果僅用于說明，研究團(tuán)隊(duì)對 T5Gemma 2 進(jìn)行了最小的 SFT，未使用 RL。另外請注意，預(yù)訓(xùn)練和訓(xùn)練后基準(zhǔn)是不同的，因此不同圖表中的分?jǐn)?shù)不可比較。

Gemma 3、T5Gemma 與 T5Gemma 2 的詳細(xì)預(yù)訓(xùn)練結(jié)果。需要注意的是，Gemma 3 的 270M 與 1B 模型，以及 T5Gemma 的 2B–2B 和 9B–9B 模型均為純文本模型。帶有 “?” 標(biāo)記的結(jié)果為近似值，無法在不同論文之間直接比較。

Gemma 3、T5Gemma 與 T5Gemma 2 的詳細(xì)后訓(xùn)練結(jié)果。盡管 T5Gemma 2 的后訓(xùn)練過程相對輕量化，但其在大多數(shù)能力維度上仍然優(yōu)于 Gemma 3。

實(shí)驗(yàn)結(jié)果表明，該適配策略在不同模型架構(gòu)與不同模態(tài)上都具有良好的通用性，同時也驗(yàn)證了編解碼器架構(gòu)在長上下文建模方面的獨(dú)特優(yōu)勢。與 T5Gemma 類似，T5Gemma 2 在預(yù)訓(xùn)練階段的性能可達(dá)到或超過其 Gemma 3 對應(yīng)模型，而在后訓(xùn)練階段則取得了顯著更優(yōu)的表現(xiàn)

我們能看到，編碼器 - 解碼器架構(gòu)下的大模型并不弱于僅解碼器架構(gòu)的模型，甚至具備自己獨(dú)特的優(yōu)勢。

谷歌繼續(xù)堅(jiān)持的編碼器 - 解碼器架構(gòu)，能否打破被邊緣化的現(xiàn)狀，讓我們拭目以待。