MathFusion團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI

當(dāng)前數(shù)學(xué)領(lǐng)域的數(shù)據(jù)生成方法常常局限于對(duì)單個(gè)問題進(jìn)行改寫或變換，好比是讓學(xué)生反復(fù)做同一道題的變種，卻忽略了數(shù)學(xué)題目之間內(nèi)在的關(guān)聯(lián)性。

為了打破這種局限，讓大模型學(xué)會(huì)“串聯(lián)”與“并聯(lián)”知識(shí)，上海AI Lab、人大高瓴等團(tuán)隊(duì)聯(lián)合提出了MathFusion，通過指令融合增強(qiáng)大語言模型解決數(shù)學(xué)問題的能力。

僅使用45K的合成指令，MathFusion在多個(gè)基準(zhǔn)測試中平均準(zhǔn)確率提升了18.0個(gè)百分點(diǎn)，展現(xiàn)了卓越的數(shù)據(jù)效率和性能。

△越靠左上角，模型表現(xiàn)越好且數(shù)據(jù)效率越高。

核心思想：三種“融合策略”

MathFusion通過三種“融合策略”，將不同的數(shù)學(xué)問題巧妙地結(jié)合起來，生成封裝了二者關(guān)系和結(jié)構(gòu)的新問題。

• 順序融合(Sequential Fusion)
• 將兩個(gè)問題串聯(lián)起來，前一個(gè)問題的答案作為后一個(gè)問題的某個(gè)輸入條件。這就像解決一個(gè)多步驟問題，模型需要先解出第一步，才能進(jìn)行第二步，從而學(xué)會(huì)處理問題間的依賴關(guān)系。
• 并列融合(Parallel Fusion)
• 將兩個(gè)相似的問題融合在一起，對(duì)它們的數(shù)學(xué)概念進(jìn)行識(shí)別和融合，在原來問題的基礎(chǔ)上提出一道新的問題。
• 條件融合(Conditional Fusion)
• 創(chuàng)造一個(gè)需要對(duì)兩個(gè)問題的解進(jìn)行比較和選擇的問題場景。

首先從現(xiàn)有數(shù)據(jù)集（GSM8K、MATH）中識(shí)別出適合融合的問題對(duì)（主要通過embedding search），然后應(yīng)用融合策略生成新問題，并利用GPT-4o-mini來生成解答。通過這三種策略，生成了一個(gè)全新的融合數(shù)據(jù)集MathFusionQA。

融合實(shí)例：不同策略的融合結(jié)果

為了更直觀地理解這三種融合策略，來看一個(gè)具體的例子：

原始問題

• 問題A：一天內(nèi)，一艘船在湖中航行4次，每次最多可載12人。請(qǐng)問在2天內(nèi)，這艘船可以運(yùn)送多少人？
• 問題B：學(xué)校組織去博物館。他們租了4輛巴士來接送孩子和老師。第二輛巴士的人數(shù)是第一輛的兩倍，第三輛比第二輛少6人，第四輛比第一輛多9人。如果第一輛巴士上有12人，請(qǐng)問總共有多少人去了博物館？

順序融合

學(xué)校組織一次去博物館的旅行，需要運(yùn)送學(xué)生和老師。首先，請(qǐng)計(jì)算一艘船在2天內(nèi)的載客量，這艘船每天航行4次，每次最多可載12人。然后，將這個(gè)總載客量作為第一輛巴士的人數(shù)。已知第二輛巴士的人數(shù)是第一輛的兩倍，第三輛比第二輛少6人，第四輛比第一輛多9人。請(qǐng)問總共有多少人去了博物館？

并列融合

一所學(xué)校組織一次到博物館的實(shí)地考察，并租用了4輛巴士和一艘船6。這艘船一天航行2次，每次載客12人。每輛巴士的人數(shù)不同：第一輛巴士有12人，…，第四輛比第一輛多9人。請(qǐng)計(jì)算在2天內(nèi)，船和所有巴士總共可以運(yùn)送多少人？

條件融合

一個(gè)社區(qū)正在組織兩種不同的郊游活動(dòng)。對(duì)于湖上游覽，一艘船每天運(yùn)營4次，載客量為12人，他們計(jì)劃讓這艘船服務(wù)2天。與此同時(shí)，一所學(xué)校正在安排一次有4輛巴士的博物館之旅11。第一輛巴士有12人，第二輛是第一輛的兩倍，第三輛比第二輛少6人，第四輛比第一輛多9人?？紤]到這些安排，哪種交通方式的載客能力更強(qiáng)？

實(shí)驗(yàn)結(jié)果：有效捕捉問題間深層聯(lián)系

在MathFusionQA的基礎(chǔ)上，使用三種融合策略——順序、并行和條件——對(duì)模型（DeepSeekMath-7B、Mistral-7B、Llama3-8B）進(jìn)行微調(diào)。實(shí)驗(yàn)得到以下發(fā)現(xiàn)：

顯著提升模型性能與效率：與標(biāo)準(zhǔn)訓(xùn)練方法（只在GSM8K和MATH上訓(xùn)練）相比，MathFusion在多個(gè)base模型（包括DeepSeekMath-7B、Llama3-8B、Mistral-7B）上都取得了穩(wěn)定的性能提升。并且，MathFusion在大幅提升性能的同時(shí)，保持了極高的數(shù)據(jù)效率，用遠(yuǎn)少于其他方法的數(shù)據(jù)量就達(dá)到了良好的效果。

策略之間優(yōu)勢互補(bǔ)：將順序融合、條件融合和并行融合三種策略結(jié)合使用，組合融合策略始終優(yōu)于每種單一融合策略。另外，基礎(chǔ)模型性能越弱，組合融合策略帶來的提升就越大。在所有基準(zhǔn)測試中，組合融合策略在DeepSeekMath-7B上平均提升了3.1分，在Llama3-8B上提升了4.9分，在Mistral-7B上提升了7.5分。

強(qiáng)大的泛化與擴(kuò)展能力：MathFusion不僅在in-domain測試中表現(xiàn)優(yōu)異，在更具挑戰(zhàn)性的out-of-domain基準(zhǔn)測試中同樣超越了標(biāo)準(zhǔn)模型。

對(duì)MathFusion做進(jìn)一步的分析，有以下幾點(diǎn)發(fā)現(xiàn)：

• 融合之后的問題的指令遵循難度（IFD）更高，說明融合之后的問題對(duì)于模型來說更加困難。
• 隨著融合數(shù)據(jù)量的增加，MathFusion模型的性能呈現(xiàn)出近似對(duì)數(shù)形式的增長。
• 當(dāng)把MathFusionQA數(shù)據(jù)集與DART-Math數(shù)據(jù)集結(jié)合使用時(shí)，模型的性能可以得到進(jìn)一步的提升，甚至超過了單獨(dú)使用任何一個(gè)數(shù)據(jù)集時(shí)的表現(xiàn)。這表明MathFusion的“問題融合”思路與DART-Math的“挖掘難題”思路是互補(bǔ)的。
• 通過t-SNE可視化分析，發(fā)現(xiàn)MathFusion得到的問題在特征空間中的分布比原始問題更均勻和廣泛。
• 通過對(duì)teacher model的消融分析，證明了MathFusion帶來的提升源自于問題融合本身，而非teacher model的好壞。

總的來說，通過生成結(jié)構(gòu)更多樣、邏輯更復(fù)雜的合成問題，MathFusion有效地增強(qiáng)了模型捕捉問題間深層聯(lián)系的能力。

但目前MathFusion還只在GSM8K、MATH這種比較簡單的數(shù)學(xué)問題，以及short cot solution的數(shù)據(jù)集上進(jìn)行了驗(yàn)證，有待進(jìn)一步擴(kuò)展到更難的數(shù)學(xué)問題、long cot solution以及其他領(lǐng)域的數(shù)據(jù)上。

論文鏈接： https://arxiv.org/abs/2503.16212
代碼庫：https://github.com/QizhiPei/MathFusion