編輯｜張倩

在國內(nèi)，懂技術(shù) —— 尤其是 AI 技術(shù)的年輕人，真的不缺嶄露頭角的機(jī)會(huì)。

前段時(shí)間，2025 年騰訊廣告算法大賽結(jié)果揭曉，前 10 名隊(duì)伍的全部成員都拿到了騰訊的錄用意向書，冠軍還拿到了 200 萬元巨額獎(jiǎng)金。

當(dāng)時(shí)，看完選手們的答辯，騰訊公司副總裁蔣杰感慨地說，這屆年輕人的知識(shí)儲(chǔ)備令人驚嘆，他們做出來的東西和工業(yè)界的實(shí)際工作非常接近，沒有代差。

如果說大賽考的是一個(gè)已經(jīng)被工業(yè)界解決的問題，選手們查查論文、復(fù)現(xiàn)方案，拼拼工程把問題解決掉倒也不是什么新鮮事。但看過今年賽題的人都知道，這次擺在桌面上的，是一個(gè)仍在探索中的真實(shí)難題，沒有現(xiàn)成答案，也不存在所謂「最優(yōu)解」。

也正因如此，比賽真正精彩的部分，其實(shí)不在排名本身，而在于：這道題究竟難在哪里？工業(yè)界已經(jīng)做了些什么？而這些年輕人，又給出了哪些實(shí)用的解法？

在這篇文章中，我們將結(jié)合冠亞軍團(tuán)隊(duì)的解決方案，來詳細(xì)聊聊這些問題。

廣告推薦

從來不是一件簡單的事

一提到廣告，很多人都會(huì)下意識(shí)皺眉。這種情緒其實(shí)很正常，沒有人喜歡被無關(guān)的信息打斷。但換個(gè)角度看，今天我們習(xí)以為常的很多內(nèi)容和服務(wù)之所以能夠長期、穩(wěn)定地存在，本身就離不開廣告的支撐。

也正因如此，平臺(tái)真正想做的，并不是把更多廣告塞給用戶，而是盡量讓廣告「少出現(xiàn)一點(diǎn)、對(duì)一點(diǎn)」。只有把廣告在合適的時(shí)間，推給真正可能需要的人，才能減少無效曝光，也減少對(duì)其他人的打擾。騰訊廣告算法大賽所討論的，正是如何把這件事做得更克制、更聰明。

在業(yè)界，目前主要有兩種方法在 PK。一種是已經(jīng)用了很多年的判別式方法，另一種是最近兩三年興起的生成式方法

要理解兩種方法的差異，我們可以舉個(gè)例子：假設(shè)你是一個(gè)新來的班主任，想要根據(jù)小明同學(xué)的興趣給他推薦合適的課外書。

在傳統(tǒng)的判別式方法里，你的任務(wù)很明確：不是理解小明的成長過程，而是判斷「這本書適不適合他」。學(xué)校會(huì)給你一張小明的檔案表，以及一張館藏書單。檔案表上記錄的是一系列已經(jīng)被「統(tǒng)計(jì)好」的特征，你需要做的，是把這些特征代入模型，給每一本書算一個(gè)匹配分?jǐn)?shù)，然后按分?jǐn)?shù)高低排序。

而按照最近興起的生成式方法，學(xué)校換了一種要求。不再讓你給書打分，而是直接把小明過去一整年的借閱「流水賬」交給你，讓你去發(fā)現(xiàn)其中的規(guī)律，并預(yù)測(cè)：接下來最可能發(fā)生的那一次借書，會(huì)是什么樣子。

后一種方法之所以興起，是因?yàn)榍耙环N方法在研究多年之后，遇到了很難克服的瓶頸。

從例子里可以看出，傳統(tǒng)判別式方法，更像是把小明壓縮成一張「人設(shè)表」，在書和人之間算匹配度，然后用一種級(jí)聯(lián)的「漏斗」去篩選。這種方式在早期非常有效，但后來，隨著系統(tǒng)不斷加入新的手工特征、更多統(tǒng)計(jì)維度、更復(fù)雜的級(jí)聯(lián)模型，效果提升卻越來越有限，尤其是在冷啟動(dòng)方面。

傳統(tǒng)判別式方法的級(jí)聯(lián)架構(gòu)，像漏斗一樣對(duì)廣告層層篩選。

原因并不是工程師不努力，而是這種范式本身就存在很大的局限，包括特征挖掘遇上天花板，模型架構(gòu)無法有效建模世界知識(shí)、推理用戶意圖、吸收多領(lǐng)域多模態(tài)用戶行為信息，級(jí)聯(lián)架構(gòu)把目標(biāo)拆碎并帶來誤差累積等。這就造成一個(gè)局面：算法工程師已經(jīng)很難通過簡單地增加特征或擴(kuò)大現(xiàn)有模型規(guī)模來獲得預(yù)期效果。

而生成式方法換了一種思路。它不急著給小明下結(jié)論，而是直接看他一整段時(shí)間的借閱記錄，去理解興趣是如何變化的，并順著這個(gè)過程，預(yù)測(cè)「下一步最可能發(fā)生什么」。

對(duì)應(yīng)到廣告場(chǎng)景里，這意味著系統(tǒng)不再只判斷「點(diǎn)不點(diǎn)」某個(gè)廣告，而是嘗試回答：在此時(shí)此刻，這個(gè)人最不反感、也最可能有用的廣告，會(huì)是什么。

生成式模型本身的一些特質(zhì)，使得它們擅長回答這類問題，包括處理長時(shí)間跨度的行為序列的能力，可以直接利用大模型中已經(jīng)學(xué)到的世界知識(shí)和多模態(tài)先驗(yàn)等。

騰訊廣告算法大賽所關(guān)注的，正是這一代方法，而且考慮到多模態(tài)信息在此類場(chǎng)景中的重要性，他們把賽題確定為「全模態(tài)生成式推薦」。

目前，業(yè)界已經(jīng)涌現(xiàn)出了一些優(yōu)秀工作，有些成功地將傳統(tǒng)級(jí)聯(lián)架構(gòu)中的某個(gè)組件替換為了生成式模型，比如 Google TIGER、Meta HSTU；還有些探索了端到端的生成式推薦，比如快手的 OneRec、騰訊的單模型框架 GPR。值得注意的是，HSTU 首次在推薦中觀察到了 Scaling Law，這說明推薦系統(tǒng)也可以「吃到 scaling 的紅利」。

傳統(tǒng)級(jí)聯(lián)方法、用生成式模型替代部分組件的方法以及端到端生成式方法（騰訊 GPR）對(duì)比圖。圖源：https://arxiv.org/pdf/2511.10138

不過，這一領(lǐng)域依然存在很多挑戰(zhàn)，比如工業(yè)級(jí)動(dòng)態(tài)詞表帶來的訓(xùn)練 / 推理雙重爆炸、毫秒級(jí)延遲與巨量算力的矛盾、大尺寸模型性能尚未得到充分驗(yàn)證等。

就是在這樣的探索階段，選手們拿到了這個(gè)賽題。對(duì)于沒有接觸過廣告業(yè)務(wù)的他們來說，這個(gè)賽題極具挑戰(zhàn)性。

首先從數(shù)據(jù)規(guī)模來看，賽題對(duì)應(yīng)的是超大規(guī)模數(shù)據(jù)場(chǎng)景：涉及千萬級(jí)廣告、千萬級(jí)用戶，以及同樣規(guī)模的交互序列，但可用于訓(xùn)練的計(jì)算資源卻是有限的，這要求模型在效果與效率之間做出權(quán)衡。

其次，數(shù)據(jù)本身的結(jié)構(gòu)也非常復(fù)雜。選手拿到的是經(jīng)過脫敏處理的用戶全模態(tài)歷史行為數(shù)據(jù)，包含文本、圖像以及用戶與廣告之間的協(xié)同行為信息，同時(shí)還存在特征缺失、行為序列時(shí)間跨度大的問題，需要在不完整信息下建模長期與短期行為。

在任務(wù)層面，復(fù)賽賽題并非單一目標(biāo)優(yōu)化，而是同時(shí)涉及曝光、點(diǎn)擊與轉(zhuǎn)化等多個(gè)隱式目標(biāo)，并且存在近半數(shù)的冷啟動(dòng) item，這進(jìn)一步提高了建模難度。

接下來我們就看看，本屆大賽的冠亞軍團(tuán)隊(duì)是怎么解決這些問題的。

冠軍 Echoch：讓推薦系統(tǒng)真正理解

用戶「此時(shí)此刻」想要什么

冠軍 Echoch 團(tuán)隊(duì)由來自華中科技大學(xué)、北京大學(xué)、中國科學(xué)技術(shù)大學(xué)的同學(xué)組成。在答辯中，他們從特征工程、模型設(shè)計(jì)、語義 ID、訓(xùn)推加速四個(gè)角度介紹了自己的方案。

三級(jí)會(huì)話體系 + 周期編碼 + 時(shí)間差分桶：讓模型擁有節(jié)奏感

同一個(gè)行為，在不同時(shí)間和狀態(tài)下，含義可能完全不一樣。比如同樣是點(diǎn)一個(gè)廣告，早上看到可能是隨便點(diǎn)點(diǎn)，晚上可能更容易下單；5 分鐘前點(diǎn)過一雙鞋可能是剛感興趣，3 天前點(diǎn)過的鞋可能已經(jīng)不喜歡了。所以 Echoch 團(tuán)隊(duì)努力去解決的第一個(gè)大問題是：如何讓推薦系統(tǒng)擁有「時(shí)間感」和「節(jié)奏感」，知道用戶「此時(shí)此刻」處于什么狀態(tài)

為了解決這個(gè)問題，他們提出了三種方法，從不同角度來描述用戶行為的特征，分別是：三級(jí)會(huì)話體系、周期編碼和時(shí)間差分桶。

所謂的三級(jí)會(huì)話體系如下圖所示，它解決的問題是怎么組織用戶的各種行為：是剛點(diǎn)開，隨手劃兩下；還是已經(jīng)刷了一會(huì)兒，興趣在變化；還是之前刷過，現(xiàn)在又回來刷了。這樣的區(qū)分有助于系統(tǒng)判斷「用戶現(xiàn)在想干嘛」，從而決定推薦的時(shí)機(jī)和節(jié)奏。

周期編碼的作用則是找到時(shí)間點(diǎn)的規(guī)律，讓模型感知此刻是用戶常刷的高峰期，還是偶爾點(diǎn)開的空檔，從而決定推薦的內(nèi)容類型。時(shí)間差分桶是為了讓模型分清「新鮮度」，即某個(gè)商品是「剛剛感興趣」還是「早就看過」，從而決定歷史行為的參考權(quán)重。

這幾個(gè)維度的信息疊加在一起，可以讓推薦系統(tǒng)既貼著用戶的作息周期，又更好地把握新鮮度和轟炸感，在合適的時(shí)間推合適的內(nèi)容。

點(diǎn)擊和轉(zhuǎn)化：一個(gè)模型，兩套策略

到了復(fù)賽階段，大賽的規(guī)則其實(shí)發(fā)生了一些變化：在初賽中，選手們只需要預(yù)測(cè)「點(diǎn)擊」行為；但到了復(fù)賽，他們需要同時(shí)預(yù)測(cè)「點(diǎn)擊」與「轉(zhuǎn)化」兩種行為。

這就帶來了一個(gè)問題：兩種行為的目標(biāo)與權(quán)重差異巨大，但模型只能生成一個(gè)統(tǒng)一的用戶畫像，推薦時(shí)左右為難。

對(duì)此，Echoch 團(tuán)隊(duì)給出的解決方案是讓同一個(gè)模型，能根據(jù)「想讓用戶點(diǎn)擊」還是「想讓用戶購買」自動(dòng)切換推薦策略，而不是一套畫像硬撐兩個(gè)目標(biāo)。

除此之外，他們?cè)谀Ｐ驮O(shè)計(jì)層面還發(fā)現(xiàn)了一個(gè)問題，就是用 HSTU 作為基座模型會(huì)遇到顯存瓶頸和性能瓶頸。經(jīng)過調(diào)查，他們發(fā)現(xiàn)這個(gè)問題的本質(zhì)是 HSTU 需要靠「外掛補(bǔ)丁」去了解時(shí)間和行為信息，這樣不但顯存和計(jì)算成本很高，效果也開始停滯。于是，他們把基座模型換成了 LLM，因?yàn)?LLM 天生就有一個(gè)叫 RoPE 的位置編碼機(jī)制，就像自帶了「時(shí)間感」，這樣時(shí)間和行為就不再是負(fù)擔(dān)。結(jié)果不僅線上得分提升不少，顯存占用也減少 5G 左右。

引入隨機(jī)性，讓冷門廣告也有曝光機(jī)會(huì)

對(duì)于 Echoch 團(tuán)隊(duì)來說，語義 ID 層面的核心問題在于：用傳統(tǒng)的聚類方法給廣告編號(hào)，熱門廣告占據(jù)了大部分「好位置」，冷門廣告被擠到角落，幾乎沒有被推薦的機(jī)會(huì)。

對(duì)此，他們給出的解法是：在編碼的最后一層，故意引入一些隨機(jī)性，讓碼表使用更均勻，從而讓更多廣告能被模型真正看到、參與訓(xùn)練。這種方法效果顯著：長尾物品訓(xùn)練關(guān)注度提升了 190 倍，碼表利用率從 81.2% 提升至 100%，Gini 系數(shù)（衡量曝光分布的不平等程度的指標(biāo)）從 0.53 降至接近于 0。

引入 Muon 優(yōu)化器，訓(xùn)練又快又穩(wěn)定

前面提到，HSTU 首次證明，推薦系統(tǒng)也能吃到 scaling 的紅利。但對(duì)于選手來說，訓(xùn)練更大的模型卻沒有那么容易，因?yàn)樗麄兛梢哉{(diào)動(dòng)的計(jì)算資源是有限的。模型一大就面臨顯存不夠用、訓(xùn)練不穩(wěn)定的問題。

為了不在模型規(guī)模上妥協(xié)，Echoch 引入了 Muon 優(yōu)化器。與需要為每個(gè)參數(shù)額外存儲(chǔ) 2 份歷史信息的 AdamW 相比，Muon 通過 Newton-Schulz 迭代把梯度矩陣變成正交矩陣，省掉了記錄二階動(dòng)量的顯存開銷，顯存占用實(shí)測(cè)銳減 45%，收斂速度提升 40%。

亞軍 leejt：大數(shù)據(jù)，大模型

scaling is all you need

亞軍 leejt 團(tuán)隊(duì)成員來自中山大學(xué)。在答辯中，他們從數(shù)據(jù)處理、模型訓(xùn)練、模型推理與后訓(xùn)練等幾個(gè)角度介紹了自己的方案。

共享詞表 + 哈希編碼：巧妙處理超大規(guī)模數(shù)據(jù)

和 LLM 一樣，全模態(tài)生成式廣告推薦的底層邏輯也是 next-token 預(yù)測(cè)，但兩者面對(duì)的 token 世界規(guī)模完全不同。語言模型的詞表只有十幾萬，而且是靜態(tài)的；而在廣告推薦中，如果把每個(gè)廣告都視作一個(gè) token，詞表規(guī)模會(huì)迅速膨脹到千萬甚至上億級(jí)。即便在比賽這種受控環(huán)境下，廣告數(shù)量也超過了 1800 萬。如果為每個(gè)廣告分配獨(dú)立的嵌入向量，顯存很快就會(huì)爆掉

因此，leejt 團(tuán)隊(duì)在數(shù)據(jù)處理階段做的第一件事，就是壓縮詞表規(guī)模。他們發(fā)現(xiàn)，接近一半的廣告交互頻次極低，既難以學(xué)到穩(wěn)定表示，又大量消耗顯存，于是將這些低頻廣告映射到共享詞表中；同時(shí)再通過 ID 哈希，把原始廣告 ID 壓縮成更緊湊的表示。這兩步基本解決了模型「訓(xùn)不起來」的問題。

此外，這里還涉及對(duì)多模態(tài)特征的取舍與壓縮。面對(duì)維度極高、噪聲較重的多模態(tài)向量，leejt 并沒有選擇直接堆進(jìn)模型，而是先用 SVD 做降維去噪，再通過 RQ-KMeans 將連續(xù)向量離散為語義 ID（SID），把高維連續(xù)空間壓縮成可控的離散表示。與此同時(shí)，對(duì)于缺失率高、線下驗(yàn)證效果不佳的模態(tài)特征，他們選擇直接舍棄，而不是讓模型為低質(zhì)量信息付出建模成本。

session 劃分 + 異構(gòu)時(shí)序圖：數(shù)據(jù)臟亂差也不怕

除了數(shù)據(jù)規(guī)模，真正讓團(tuán)隊(duì)感到棘手的，還有數(shù)據(jù)本身的復(fù)雜性。

用戶行為序列看似很長，但仔細(xì)分析會(huì)發(fā)現(xiàn)，很多序列其實(shí)是多個(gè) session 拼接而成，如果不顯式建模 session 邊界，模型會(huì)把跨天、跨興趣階段的行為當(dāng)成連續(xù)偏好來學(xué)，噪聲極大；此外，大量商品是冷啟動(dòng)或低頻，同時(shí)多模態(tài)特征維度高、缺失多、噪聲重，如果直接輸入模型，只會(huì)放大不確定性。

leejt 給出的解法是：主動(dòng)補(bǔ)充序列之外的信息結(jié)構(gòu)。一方面，他們通過時(shí)間特征和 session 劃分，讓模型知道哪些行為是「剛剛發(fā)生的」，哪些只是歷史殘留；另一方面，他們引入了異構(gòu)時(shí)序圖，把用戶、廣告以及語義層面的節(jié)點(diǎn)連接在一起。當(dāng)某個(gè)用戶或廣告自身信息不足時(shí)，模型可以通過與其相鄰的用戶、相似廣告和語義簇來「借信號(hào)」，用群體行為來彌補(bǔ)個(gè)體數(shù)據(jù)的稀疏。這一步的本質(zhì)，是把原本只能在一條序列上盲猜的問題，轉(zhuǎn)化成在一個(gè)關(guān)系網(wǎng)絡(luò)中有依據(jù)地推斷。

極致的工程優(yōu)化：把 GPU 利用率拉到 100%

和 Echoch 團(tuán)隊(duì)一樣，在有限的算力上訓(xùn)出更大更有效的模型也是 leejt 團(tuán)隊(duì)的核心目標(biāo)。這方面，他們確實(shí)做得很成功，把模型從 4 層 512 維擴(kuò)展到 8 層 2048 維，帶來了百分位級(jí)別的性能提升。

團(tuán)隊(duì)的解法是從多個(gè)環(huán)節(jié)擠出效率空間：混合精度訓(xùn)練、梯度檢查點(diǎn)、torch.compile 圖編譯，以及把所有數(shù)據(jù)預(yù)處理都放進(jìn) Dataloader 里讓數(shù)據(jù)加載和模型計(jì)算完全并行。這套方法效果顯著：每步訓(xùn)練時(shí)間從 3.5 秒壓縮到 0.8 秒，GPU 利用率拉滿到 100%，省下來的時(shí)間和空間全部用來把模型做大做深，最終驗(yàn)證了團(tuán)隊(duì)的核心信念 ——Scaling is all you need

騰訊廣告算法大賽

讓技術(shù)理想照進(jìn)現(xiàn)實(shí)的起點(diǎn)

從這次比賽來看，全模態(tài)生成式廣告推薦確實(shí)不是一個(gè)簡單的問題。但年輕一代給出了非常有價(jià)值的思路。這些方案既有扎實(shí)的工程功底，也有對(duì)問題本質(zhì)的深刻理解。

從業(yè)界實(shí)踐來看，從判別式到生成式的演進(jìn)正在平穩(wěn)推進(jìn)。蔣杰提到，騰訊內(nèi)部已經(jīng)嘗試在召回和粗排階段用生成式模型替代傳統(tǒng)的判別式模型，并且取得了不錯(cuò)的效果，這些收益在財(cái)報(bào)的營收數(shù)據(jù)上也有所體現(xiàn)。這說明生成式推薦不只是學(xué)術(shù)界的熱門話題，而是真正能落地、能創(chuàng)造商業(yè)價(jià)值的技術(shù)方向

為了適應(yīng)這種趨勢(shì)，騰訊廣告內(nèi)部也在積極布局。蔣杰提到，未來，他們的數(shù)據(jù)將全面多模態(tài)化，內(nèi)部廣告系統(tǒng)也將全面 Agent 化。同時(shí)，為了支持整個(gè)社區(qū)的發(fā)展，騰訊廣告會(huì)將本次大賽的數(shù)據(jù)開源，讓更多研究者和開發(fā)者能夠在真實(shí)場(chǎng)景的數(shù)據(jù)上探索和驗(yàn)證自己的想法。

而生成式廣告推薦的想象空間，其實(shí)遠(yuǎn)超這次大賽所考察的范圍。比賽關(guān)注的還是「從候選池里挑出最合適的廣告」，但未來可能出現(xiàn)即時(shí)生成的廣告 —— 不再是從現(xiàn)有素材中檢索，而是根據(jù)用戶當(dāng)下的興趣、場(chǎng)景、情緒，實(shí)時(shí)生成個(gè)性化的廣告文案、圖片甚至視頻。到那時(shí)，「千人千面」才算真正名副其實(shí)。

當(dāng)然，這中間還有很多技術(shù)難點(diǎn)需要克服。騰訊廣告算法大賽，正是這樣一個(gè)讓技術(shù)理想照進(jìn)現(xiàn)實(shí)的起點(diǎn)。

期待明年還能看到如此精彩的賽事。

參考鏈接：https://mp.weixin.qq.com/s/hlUk9P6vJk7fTir-TaVxNg