RecFound 在理論和實(shí)踐上成功解決了長(zhǎng)期困擾推薦系統(tǒng)多任務(wù)學(xué)習(xí)的知識(shí)沖突與收斂失衡問(wèn)題。

作者丨林江浩 周哲立

構(gòu)建能夠在多樣化任務(wù)中表現(xiàn)卓越的單一基座模型（Foundation Model），是人工智能領(lǐng)域的長(zhǎng)期目標(biāo)。隨著通用大模型技術(shù)浪潮的推進(jìn)，其影響力已顯著擴(kuò)展至推薦系統(tǒng)領(lǐng)域。然而，當(dāng)前針對(duì)推薦任務(wù)的基座模型研究，雖在各類(lèi)生成式（Generative）任務(wù)上取得了進(jìn)展，卻普遍忽視了作為推薦系統(tǒng)基石的表征式（Embedding）任務(wù)，并且在處理多任務(wù)學(xué)習(xí)的復(fù)雜性（如知識(shí)共享與沖突、收斂速度不一致等）方面面臨挑戰(zhàn)。為應(yīng)對(duì)這些局限性，來(lái)自上海交通大學(xué)與華為諾亞方舟實(shí)驗(yàn)室的研究團(tuán)隊(duì)提出了RecFound，一個(gè)面向推薦基座模型的生成式表征學(xué)習(xí)統(tǒng)一框架。該框架通過(guò)創(chuàng)新的模型架構(gòu)與訓(xùn)練策略，成功地在單一模型內(nèi)統(tǒng)一了生成與表征兩類(lèi)異構(gòu)任務(wù)。研究團(tuán)隊(duì)同時(shí)為推薦基座模型構(gòu)建了第一個(gè)綜合數(shù)據(jù)集，涵蓋了多種場(chǎng)景下的生成式和表征式任務(wù)，并在此基準(zhǔn)上對(duì)多個(gè)模型進(jìn)行了評(píng)估，驗(yàn)證了RecFound框架的優(yōu)異性能。

論文標(biāo)題:Generative Representational Learning of Foundation Models for Recommendation

論文鏈接: https://arxiv.org/abs/2506.11999

項(xiàng)目鏈接:https://junkfood436.github.io/RecFound/

01

核心挑戰(zhàn)：推薦基座模型中的任務(wù)分歧與訓(xùn)練困境

基座模型是利用海量數(shù)據(jù)進(jìn)行訓(xùn)練的超大型人工智能模型，它具備強(qiáng)大的通用能力，能夠適應(yīng)并完成多種不同的下游任務(wù)，而無(wú)需從頭開(kāi)始訓(xùn)練。正是因?yàn)榇笳Z(yǔ)言模型這種強(qiáng)大的通用能力和適應(yīng)性，研究者們開(kāi)始探索將其改造為統(tǒng)一的推薦基座模型。然而，在將大語(yǔ)言模型改造為統(tǒng)一的推薦基座模型的過(guò)程中，研究者普遍面臨兩大技術(shù)瓶頸，嚴(yán)重制約了模型的綜合效能。

• 對(duì)表征學(xué)習(xí)任務(wù)的忽視：表征學(xué)習(xí)是現(xiàn)代推薦系統(tǒng)的核心。它通過(guò)將用戶、物品、查詢(xún)等高維、離散的特征映射為低維、稠密的向量（Embedding），來(lái)捕捉它們之間復(fù)雜的語(yǔ)義關(guān)系。高質(zhì)量的表征是實(shí)現(xiàn)高效召回、精準(zhǔn)排序乃至多樣化推薦的前提。然而，目前許多推薦基座模型的研究過(guò)度側(cè)重于生成式任務(wù)（如生成商品描述、撰寫(xiě)用戶評(píng)論），而未能充分整合和優(yōu)化底層的表征學(xué)習(xí)能力。這導(dǎo)致模型雖然“能說(shuō)會(huì)道”，但在核心的“猜你喜歡”能力上存在短板，限制了其在真實(shí)推薦場(chǎng)景中的應(yīng)用深度。

• 多任務(wù)學(xué)習(xí)的內(nèi)在復(fù)雜性：在單一模型中同時(shí)優(yōu)化性質(zhì)迥異的生成任務(wù)與表征任務(wù)，極易引發(fā)一系列問(wèn)題。首先是知識(shí)沖突與負(fù)遷移，生成任務(wù)通常采用交叉熵?fù)p失函數(shù)在詞元（token）級(jí)別進(jìn)行優(yōu)化，而表征任務(wù)則依賴(lài)對(duì)比學(xué)習(xí)損失（如InfoNCE）在樣本級(jí)別構(gòu)建表示空間。這兩種截然不同的學(xué)習(xí)目標(biāo)可能導(dǎo)致參數(shù)更新方向相互沖突，使得模型在學(xué)習(xí)一個(gè)任務(wù)時(shí)損害了在另一個(gè)任務(wù)上的表現(xiàn)。其次是收斂不一致，不同任務(wù)的數(shù)據(jù)規(guī)模、學(xué)習(xí)難度和收斂速度千差萬(wàn)別。簡(jiǎn)單的任務(wù)可能很快就過(guò)擬合，而復(fù)雜的任務(wù)還遠(yuǎn)未收斂。這種不一致性使得整個(gè)訓(xùn)練過(guò)程難以平衡，導(dǎo)致最終模型性能受限于“短板任務(wù)”，無(wú)法達(dá)到整體最優(yōu)。

02

RecFound 框架：模型、數(shù)據(jù)與策略的三維協(xié)同

為系統(tǒng)性地解決上述挑戰(zhàn)，RecFound 框架提出了一套新穎的多任務(wù)訓(xùn)練方案，其核心在于三個(gè)關(guān)鍵模塊的協(xié)同設(shè)計(jì)，分別從模型結(jié)構(gòu)、數(shù)據(jù)調(diào)度和訓(xùn)練策略層面進(jìn)行優(yōu)化。

1.模型層：任務(wù)化低秩專(zhuān)家混合（TMoLE）

為高效管理知識(shí)共享并緩解任務(wù)沖突，研究者設(shè)計(jì)了 TMoLE (Task-wise Mixture of Low-rank Experts) 架構(gòu)。該方法并非對(duì)整個(gè)模型進(jìn)行密集微調(diào)，而是借鑒了參數(shù)高效微調(diào)（PEFT）和專(zhuān)家混合（MoE）的思想。

具體而言，TMoLE 在Transformer的每一個(gè)自注意力模塊的查詢(xún)（Query）、鍵（Key）、值（Value）和輸出（Output）投影矩陣上，并行地集成了多個(gè)“低秩專(zhuān)家”（Low-rank Experts）和一個(gè)“任務(wù)路由器”（Task-wise Router）。這些專(zhuān)家被劃分為三組：表征專(zhuān)家組、生成專(zhuān)家組與共享專(zhuān)家組。當(dāng)一個(gè)訓(xùn)練樣本輸入時(shí)，任務(wù)路由器會(huì)根據(jù)其任務(wù)ID，生成一個(gè)路由權(quán)重向量，動(dòng)態(tài)地決定激活哪些專(zhuān)家來(lái)參與計(jì)算。例如，處理一個(gè)表征任務(wù)時(shí)，路由器會(huì)主要激活表征專(zhuān)家和共享專(zhuān)家，同時(shí)抑制生成專(zhuān)家的權(quán)重。這種設(shè)計(jì)使得模型能夠?yàn)椴煌?lèi)型的任務(wù)分配專(zhuān)屬的參數(shù)子空間以避免沖突，同時(shí)通過(guò)共享專(zhuān)家促進(jìn)跨任務(wù)的知識(shí)遷移，從而在“分治”與“協(xié)同”之間取得精妙平衡。

2.數(shù)據(jù)層：步進(jìn)式收斂導(dǎo)向樣本調(diào)度器（S2Sched）

為解決不同任務(wù)收斂速度不一致的問(wèn)題，研究者沒(méi)有采用直接調(diào)整損失權(quán)重的傳統(tǒng)方法（這種方法在處理異構(gòu)損失函數(shù)時(shí)易導(dǎo)致訓(xùn)練不穩(wěn)定），而是提出了 S2Sched (Step-wise Convergence-Oriented Sample Scheduler)。該調(diào)度器在訓(xùn)練的每一步，會(huì)基于各任務(wù)在驗(yàn)證集上的實(shí)時(shí)表現(xiàn)來(lái)動(dòng)態(tài)調(diào)整其數(shù)據(jù)采樣比例。

其工作流程分為兩步：首先，估計(jì)非收斂率，通過(guò)分析近期驗(yàn)證損失的變化趨勢(shì)（斜率），判斷每個(gè)任務(wù)的收斂狀態(tài)。其次，進(jìn)行任務(wù)級(jí)樣本調(diào)度，為收斂較慢的任務(wù)（即非收斂率較高的任務(wù)）分配更多的訓(xùn)練樣本，反之則減少。通過(guò)這種自適應(yīng)的“補(bǔ)課”機(jī)制，S2Sched 確保了所有任務(wù)能夠均衡、穩(wěn)定地收斂，從而提升了模型整體的性能下限和穩(wěn)定性。

3.策略層：模型融合（Model Merge）

多任務(wù)學(xué)習(xí)中，由于“蹺蹺板效應(yīng)”，不同訓(xùn)練階段保存的模型檢查點(diǎn)（checkpoints）往往在不同任務(wù)上各有千秋。為了整合這些分布在不同時(shí)間點(diǎn)的互補(bǔ)優(yōu)勢(shì)，RecFound 在訓(xùn)練結(jié)束后引入了模型融合模塊。該模塊采用 TIES-Merging 技術(shù)，對(duì)多個(gè)優(yōu)秀檢查點(diǎn)的低秩專(zhuān)家參數(shù)進(jìn)行合并。該技術(shù)通過(guò)篩選重要參數(shù)更新（Trim）、對(duì)沖突的參數(shù)方向進(jìn)行投票表決（Elect）、并對(duì)方向一致的參數(shù)進(jìn)行平均（Average），最終生成一個(gè)在所有任務(wù)上表現(xiàn)都更均衡、性能更穩(wěn)健的單一模型，實(shí)現(xiàn)了“1+1>2”的效果。

03

基準(zhǔn)與評(píng)估：構(gòu)建統(tǒng)一表征生成推薦任務(wù)數(shù)據(jù)集

高質(zhì)量、高標(biāo)準(zhǔn)的數(shù)據(jù)集是模型訓(xùn)練與評(píng)估的基石。為此，研究團(tuán)隊(duì)構(gòu)建了首個(gè)全面覆蓋推薦領(lǐng)域中生成式任務(wù)與表征式任務(wù)的綜合數(shù)據(jù)集——RecFound Dataset。該數(shù)據(jù)集整合了來(lái)自電商、社交媒體、影音等多個(gè)真實(shí)場(chǎng)景的數(shù)據(jù)，包含了 10 種多樣的生成任務(wù)（如序列推薦、情感分析、用戶畫(huà)像生成、問(wèn)答等）與 3 種核心的表征任務(wù)（User2Item、Query2Item、Item2Item），具有高度的創(chuàng)新性、多樣性與真實(shí)性，為評(píng)估和開(kāi)發(fā)統(tǒng)一推薦基座模型提供了堅(jiān)實(shí)的基準(zhǔn)。

實(shí)驗(yàn)結(jié)果與分析

在基于RecFound數(shù)據(jù)集的廣泛實(shí)驗(yàn)中，RecFound框架展現(xiàn)出卓越的性能，驗(yàn)證了其設(shè)計(jì)的有效性。

1.性能全面領(lǐng)先：在所有13個(gè)子任務(wù)（10個(gè)生成式任務(wù)和3個(gè)表征式任務(wù)）上，RecFound的綜合表現(xiàn)顯著超越了現(xiàn)有的一系列強(qiáng)大的基線模型（包括專(zhuān)門(mén)為生成式任務(wù)優(yōu)化的 eCeLLM、統(tǒng)一生成表征的 GritLM，以及通用大模型如 Mistral-7B 等）。

2.組件相輔相成：消融實(shí)驗(yàn)清晰地證明了TMoLE、S2Sched及模型融合組件的有效性。例如，移除TMoLE，模型退化為標(biāo)準(zhǔn)的LoRA微調(diào)，無(wú)法解決任務(wù)沖突，導(dǎo)致性能顯著下降；移除S2Sched，不均衡的收斂使得模型性能受限于短板任務(wù)。實(shí)驗(yàn)結(jié)果表明，RecFound的三個(gè)組件缺一不可。

3.模塊深入分析：論文還分析了TMoLE模塊和S2Sched模塊具體功能如何展現(xiàn)。

TMoLE專(zhuān)家模塊在各個(gè)任務(wù)上輸出的熱力度相似圖展示了TMoLE模塊在不同任務(wù)類(lèi)型中的相似度，揭示了同一任務(wù)類(lèi)型（如用戶導(dǎo)向型任務(wù)）具有高度相似性，而不同任務(wù)類(lèi)型則相似度較低。這證明了TMoLE能夠有效地捕捉任務(wù)間的共性，并以此促進(jìn)推薦基座模型的訓(xùn)練。右上角的矩陣圖進(jìn)一步展示了TMoLE專(zhuān)家模塊在執(zhí)行不同任務(wù)時(shí)的協(xié)同關(guān)系，通過(guò)輸出的熱力學(xué)相似度，直觀地展現(xiàn)了模塊間的知識(shí)共享和協(xié)同工作能力，從而優(yōu)化了推薦系統(tǒng)的整體性能。

曲線圖則展示了S2Sched調(diào)度模塊在訓(xùn)練過(guò)程中的動(dòng)態(tài)采樣能力。圖中不同任務(wù)的樣本采樣比率會(huì)隨著訓(xùn)練步驟的進(jìn)行而動(dòng)態(tài)變化。這些曲線反映了S2Sched能根據(jù)任務(wù)的收斂情況和訓(xùn)練進(jìn)度，自適應(yīng)地調(diào)整樣本分配，確保每個(gè)任務(wù)都得到均衡且高效的訓(xùn)練。這種動(dòng)態(tài)調(diào)度機(jī)制極大地提升了模型的訓(xùn)練效率和整體優(yōu)化水平。

04

總結(jié)

綜上所述，RecFound框架及其配套數(shù)據(jù)集為學(xué)術(shù)界和工業(yè)界探索更強(qiáng)大的統(tǒng)一推薦基座模型提供了清晰的路線圖和寶貴的工具。該工作不僅在理論和實(shí)踐上成功解決了長(zhǎng)期困擾推薦系統(tǒng)多任務(wù)學(xué)習(xí)的知識(shí)沖突與收斂失衡問(wèn)題，也為推薦系統(tǒng)的未來(lái)發(fā)展，乃至更廣闊的人工智能Agent領(lǐng)域，開(kāi)辟了新的方向。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。