DELT團隊 投稿
量子位 | 公眾號 QbitAI

模型訓練重點在于數(shù)據(jù)的數(shù)量與質(zhì)量？其實還有一個關鍵因素——

數(shù)據(jù)的出場順序。

對此，微軟亞洲研究院提出了一種全新的文本數(shù)據(jù)組織范式DELT（Data Efficacy in LM Training），通過引入數(shù)據(jù)排序策略，充分挖掘訓練數(shù)據(jù)潛力，在不同模型尺寸與規(guī)模下都達到了良好性能。

△數(shù)據(jù)效率與效能提升

該方法用優(yōu)化訓練數(shù)據(jù)的組織方式來讓語言模型學得更好，還不用增加數(shù)據(jù)量或擴大模型規(guī)模。

來看看是怎么做到的。

訓練樣本的組織順序很關鍵

首先，我們先來理清幾個概念。

在語言模型訓練中，數(shù)據(jù)使用效率至關重要�，F(xiàn)有研究多關注于數(shù)據(jù)效率（Data Efficiency），即如何通過數(shù)據(jù)選擇提升模型訓練效率并保持優(yōu)異性能。

然而，數(shù)據(jù)效能（Data Efficacy），即如何通過數(shù)據(jù)組織增強模型訓練表現(xiàn)，卻常常被忽視。

以烹飪?yōu)槔�，�?shù)據(jù)效率就像在市場挑選新鮮、合適的食材，而數(shù)據(jù)效能則像名廚把握投放調(diào)料的時機與分寸，讓菜品發(fā)揮出最佳風味。

數(shù)據(jù)組織的重要性

為了避免過擬合，當前的大語言模型往往在海量數(shù)據(jù)上進行訓練，并且訓練的次數(shù)非常有限，甚至僅進行一次完整的訓練周期（epoch=1），這與早期模型依賴多次迭代訓練（epoch>>1）截然不同。

這些變化讓數(shù)據(jù)呈現(xiàn)的先后順序?qū)Y果影響巨大。

早期的AI模型類似于讓學生多次反復翻閱同一本書，在多輪學習中慢慢補齊細節(jié)；而現(xiàn)在更像只給一遍通讀，不再反復回看。

這就對閱讀順序提出了極高要求，必須精心規(guī)劃學習材料出現(xiàn)的先后和結構。因此，訓練樣本的組織順序顯得尤為關鍵。然而，關于這一點的研究卻很少。

基于此觀察，微軟亞洲研究院最新提出的文本數(shù)據(jù)組織范式DELT，通過引入數(shù)據(jù)排序策略，充分挖掘訓練數(shù)據(jù)潛力，實現(xiàn)了數(shù)據(jù)的高效利用與效能提升。

DELT范式不但通過數(shù)據(jù)選擇提升效率，選取高質(zhì)量數(shù)據(jù)，加快訓練速度；

而且通過數(shù)據(jù)排序提升效能，在預訓練和后訓練階段都顯著提升了模型性能，且適用于通用、數(shù)學和代碼等多領域任務。

給模型按部就班安排訓練課程

數(shù)據(jù)訓練效能定義Data Efficacy

研究首先定義了數(shù)據(jù)訓練效能（Data Efficacy），是指通過優(yōu)化訓練數(shù)據(jù)的組織方式來最大化語言模型的性能表現(xiàn)，而無需改變數(shù)據(jù)內(nèi)容或模型架構。

與以往關注的“數(shù)據(jù)訓練效率” (Data Efficiency) 側(cè)重數(shù)據(jù)篩選的研究目的不同，數(shù)據(jù)效能強調(diào)對訓練數(shù)據(jù)的評分和排序，以充分挖掘數(shù)據(jù)的潛在價值。

數(shù)據(jù)順序在語言模型訓練中的潛力尚未被充分挖掘， 數(shù)據(jù)效能旨在通過合理的數(shù)據(jù)組織方式，使模型在有限的訓練數(shù)據(jù)和資源下實現(xiàn)更高的性能和泛化能力，成為提升語言模型性能的一種新興方法。

數(shù)據(jù)組織范式DELT介紹

△DELT范式架構

DELT（DataEfficacy inLMTraining）是一種創(chuàng)新的文本數(shù)據(jù)組織范式。

它集成了數(shù)據(jù)評分（Data Scoring）、數(shù)據(jù)選擇（Data Selection） 和數(shù)據(jù)排序（Data Ordering） 三大核心組件。

數(shù)據(jù)評分根據(jù)特定的屬性為每個樣本賦予分數(shù)，如：難度、質(zhì)量、多樣性等。

數(shù)據(jù)選擇通過評分篩選出最優(yōu)子集（如：top-k、按閾值篩選等），然后數(shù)據(jù)排序根據(jù)評分重新組織所選擇數(shù)據(jù)的呈現(xiàn)順序（如：基于課程學習的分數(shù)從低到高排列）。 為了兼顧數(shù)據(jù)處理效率，DELT范式的數(shù)據(jù)選擇和數(shù)據(jù)排序共用數(shù)據(jù)評分的結果。

因此，數(shù)據(jù)評分的規(guī)則設置非常重要。于是，研究還提出了Learning-Quality Score（LQS）方法。

△LQS打分方式

該數(shù)據(jù)評分方式結合了質(zhì)量和可學習性兩個關鍵指標，不但可以篩選出低質(zhì)量數(shù)據(jù)，而且也能捕捉數(shù)據(jù)在不同階段的訓練價值，進一步提供了可靠的數(shù)據(jù)排列順序。

為了進一步提升數(shù)據(jù)效能，團隊還提出了一種全新的折疊排序方法Folding Ordering（FO）。

基于課程學習的排序（即，按分數(shù)升序排序）可能導致模型遺忘和數(shù)據(jù)內(nèi)部分布偏差。

折疊排序策略通過多層“折疊”，將數(shù)據(jù)按分數(shù)分層并多次采樣，無重復且均衡分布。

△Folding排序方式

相比隨機打亂或單一排序，它既保留難度排序優(yōu)勢，又避免模型過度遺忘或依賴特定數(shù)據(jù)，提升了魯棒性和泛化能力。

與傳統(tǒng)隨機排序方法相比，DELT范式不僅通過減小數(shù)據(jù)規(guī)模提升了訓練效率；而且在不同模型尺寸和數(shù)據(jù)規(guī)模下，在各種評測集上都顯著提升了模型性能。

△不同數(shù)據(jù)規(guī)模和模型尺寸下的結果

DELT給Data-centric AI領域帶來了全新思路。

看來，類比于人類教學實踐，講究個性化與按部就班地安排學習內(nèi)容，AI訓練也需要類似的學習方法。

論文鏈接：https://arxiv.org/abs/2506.21545
代碼鏈接：https://github.com/microsoft/DELT