在短視頻推薦、跨模態(tài)搜索等工業(yè)場景中，傳統(tǒng)多模態(tài)模型常受限于模態(tài)支持單一、訓(xùn)練不穩(wěn)定、領(lǐng)域適配性差等問題。

近日，字節(jié)跳動抖音 SAIL 團(tuán)隊(duì)聯(lián)合香港中文大學(xué) MMLab 提出 SAIL-Embedding——一款專為大規(guī)模推薦場景設(shè)計(jì)的全模態(tài)嵌入基礎(chǔ)模型，不僅實(shí)現(xiàn)了視覺、文本、音頻的統(tǒng)一表征，更在抖音真實(shí)業(yè)務(wù)場景中帶來顯著效果提升，相關(guān)技術(shù)報告已正式公開。

• 論文標(biāo)題：SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model
• 技術(shù)報告：
  
• https://arxiv.org/pdf/2510.12709
• HuggingFace:
• https://huggingface.co/BytedanceDouyinContent/collections

SAIL-Embedding 能力概覽

突破傳統(tǒng)局限：

全模態(tài) + 工業(yè)級優(yōu)化雙管齊下

現(xiàn)有多模態(tài)嵌入模型主要分為兩類：以 CLIP 為代表的雙塔架構(gòu)，雖高效但模態(tài)融合淺；以 MLLM 為基礎(chǔ)的融合架構(gòu)，雖語義能力強(qiáng)卻多局限于圖文模態(tài)。SAIL-Embedding 則從根源上解決這些痛點(diǎn)：

全模態(tài)輸入：覆蓋短視頻核心信息維度

不同于僅支持圖文的傳統(tǒng)模型，SAIL-Embedding 可處理任意模態(tài)組合——包括視覺模態(tài)側(cè)的視頻關(guān)鍵幀/封面、文本模態(tài)側(cè)的標(biāo)題/標(biāo)簽/OCR/ASR 文本、以及音頻模態(tài)側(cè)的背景音樂/語音，以適配抖音等短視頻平臺的信息結(jié)構(gòu)。例如，在視頻檢索任務(wù)中，模型能同時利用畫面內(nèi)容、字幕文本與背景音效，避免單一模態(tài)信息缺失導(dǎo)致的語義偏差。

SAIL-Embedding 架構(gòu)圖

訓(xùn)練穩(wěn)定性升級：動態(tài)難負(fù)樣本 + 自適應(yīng)數(shù)據(jù)平衡

為解決大規(guī)模訓(xùn)練中的噪聲干擾與數(shù)據(jù)分布不均問題，團(tuán)隊(duì)提出引入兩種策略：

• 動態(tài)難負(fù)樣本挖掘：通過 F1 分?jǐn)?shù)自適應(yīng)確定相似度閾值，篩選「難區(qū)分」的負(fù)樣本（如主題相似但內(nèi)容不同的視頻），讓模型更聚焦細(xì)粒度語義差異，避免簡單負(fù)樣本導(dǎo)致的訓(xùn)練低效。

• 自適應(yīng)多源數(shù)據(jù)平衡：基于 Sinkhorn 算法計(jì)算訓(xùn)練集與驗(yàn)證集的分布相似度，自動分配各數(shù)據(jù)源權(quán)重，減少人工調(diào)參依賴，同時兼顧數(shù)據(jù)質(zhì)量與多樣性，緩解工業(yè)數(shù)據(jù)與開源數(shù)據(jù)的領(lǐng)域鴻溝。

創(chuàng)新訓(xùn)練體系：

從內(nèi)容理解到推薦適配的全鏈路優(yōu)化

SAIL-Embedding 的訓(xùn)練并非單一階段，而是一套覆蓋「基礎(chǔ)能力-任務(wù)適配-推薦增強(qiáng)」的多階段體系，確保模型既能理解內(nèi)容語義，又能貼合真實(shí)推薦場景需求：

內(nèi)容感知漸進(jìn)式訓(xùn)練：從通用到領(lǐng)域的精準(zhǔn)過渡

訓(xùn)練分三階段逐步深入：

• 第一階段：用超 10B 樣本的大規(guī)模多模態(tài)數(shù)據(jù)（含圖文音）預(yù)訓(xùn)練，奠定基礎(chǔ)語義理解能力；
• 第二階段：聚焦與下游任務(wù)（如視頻檢索、標(biāo)簽分類）對齊的高質(zhì)量數(shù)據(jù)，優(yōu)化任務(wù)適配性；
• 第三階段：引入難負(fù)樣本微調(diào)，強(qiáng)化模型對相似內(nèi)容的判別能力。

內(nèi)容感知的漸進(jìn)式訓(xùn)練

推薦感知的增強(qiáng)訓(xùn)練：融入用戶行為信號

針對推薦場景，團(tuán)隊(duì)將多模態(tài)表征向用戶歷史序列表征和線上 ID 表征兩個維度進(jìn)行知識蒸餾以融于用戶協(xié)同行為信息：

• 序列到物品蒸餾：通過多維度的用戶歷史興趣序列篩選機(jī)制，利用用戶具有正向交互行為的歷史觀看序列（如最近 10 個觀看視頻）與目標(biāo)視頻的關(guān)聯(lián)，讓模型學(xué)習(xí)用戶興趣的時序延續(xù)性；

• ID 到物品蒸餾：對齊推薦系統(tǒng)中的多元化 ID 表征嵌入，將用戶偏好信號（如點(diǎn)擊、關(guān)注等）融入多模態(tài)表征，使嵌入結(jié)果更貼合推薦側(cè)應(yīng)用需求。

協(xié)同感知的兩階段推薦增強(qiáng)訓(xùn)練

實(shí)測性能：

刷新多任務(wù) SOTA，抖音業(yè)務(wù)指標(biāo)顯著提升

無論是標(biāo)準(zhǔn)數(shù)據(jù)集的基準(zhǔn)測試，還是抖音真實(shí)場景的在線實(shí)驗(yàn)，SAIL-Embedding 均展現(xiàn)出卓越性能：

離線任務(wù)性能：多場景檢索與分類任務(wù)綜合領(lǐng)先

(1) Item-to-Item Retrieval (物品到物品檢索)

在 21 個涵蓋內(nèi)容理解、搜索，以及協(xié)同感知的多任務(wù)場景下，SAIL-Embedding 顯著優(yōu)于 CLIP-based 模型與 VLM-based 的模型：

(2) Query-to-Item Retrieval (查詢到物品檢索)

在 9 個涵蓋檢索為導(dǎo)向和分類為導(dǎo)向的多任務(wù)場景下，模型的 AUC 與 Recall 指標(biāo)均取得領(lǐng)先：

在線落地效果：抖音多場景推薦指標(biāo)顯著提升

在抖音 Feed 流、冷啟動、抖音精選、消息推送等核心場景中，SAIL-Embedding 通過潛入向量與嵌入離散化的語義 ID 兩種形式賦能推薦全鏈路，帶來了一致的 LT 和 AUC 增益，體現(xiàn)了其顯著的業(yè)務(wù)應(yīng)用潛力。

SAIL-Embedding 的核心價值在于，它不僅是一款性能領(lǐng)先的全模態(tài)嵌入模型，更構(gòu)建了一套從學(xué)術(shù)研究到工業(yè)落地的完整解決方案：通過全模態(tài)架構(gòu)突破輸入局限，用動態(tài)數(shù)據(jù)策略解決訓(xùn)練穩(wěn)定性問題，以推薦增強(qiáng)訓(xùn)練填補(bǔ)產(chǎn)業(yè)鴻溝，最終在抖音真實(shí)場景中驗(yàn)證了技術(shù)價值，在短視頻、直播等富模態(tài)推薦場景中，具備極強(qiáng)的推廣價值。

抖音 SAIL 團(tuán)隊(duì)在未來將進(jìn)一步探索 VLMs 與推薦系統(tǒng)的深度融合，例如通過生成式任務(wù)注入推薦知識，讓模型不僅能「理解」內(nèi)容，更能「預(yù)測」用戶偏好。