夜夜躁很很躁日日躁麻豆,精品人妻无码,制服丝袜国产精品,成人免费看www网址入口

網(wǎng)易首頁 > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

Meta AI 推理新論文:模型記住套路,推理 token 砍半

0
分享至


來源:大數(shù)據(jù)文摘出品

Meta 又一次在 AI 推理上“開了掛”。

一份新論文顯示,Meta 的研究團(tuán)隊(duì)找到一種讓大模型“用更少思維,想得更清楚”的辦法。

這篇論文名為Metacognitive Reuse: Turning Recurring LLM Reasoning Into Concise Behaviors,發(fā)表于 2025 年 9 月 17 日,來自 Meta 團(tuán)隊(duì)與普林斯頓大學(xué)、蒙特利爾大學(xué)聯(lián)合研究。


作者包括 Aniket Didolkar、Nicolas Ballas、Anirudh Goyal 與 Sanjeev Arora。

論文地址: https://arxiv.org/abs/2509.13237

論文提出一個(gè)新機(jī)制,讓大語言模型(LLM)能在每次推理后,總結(jié)自己重復(fù)用到的步驟,并把它們存為簡(jiǎn)短指令,稱為“行為(Behavior)”。

下一次遇到類似問題,模型不再重復(fù)推,而是直接調(diào)用這些“行為”。

效果驚人。

在數(shù)學(xué)推理任務(wù)上,Meta 團(tuán)隊(duì)實(shí)測(cè):模型在準(zhǔn)確率不下降的前提下,推理所需的 token 數(shù)量最多減少 46%。

也就是說,同樣一道題,模型少想一半,卻答得一樣準(zhǔn)。

研究團(tuán)隊(duì)稱,這讓模型“學(xué)會(huì)記得自己怎么思考”,相當(dāng)于給 LLM 裝上了“思維緩存”。

思維有手冊(cè):AI的“行為記憶術(shù)”


“行為復(fù)用”(Metacognitive Reuse)框架

Meta 把這個(gè)機(jī)制叫做“行為手冊(cè)(Behavior Handbook)”。

當(dāng)模型解決問題時(shí),它會(huì)記錄下自己的整個(gè)推理過程。

然后再回頭反思,分析哪些步驟是常見套路,比如“容斥原理”“有理化分母”“代入后先化簡(jiǎn)”。

模型會(huì)為這些套路起名、寫說明,變成一條條“行為指令”。

這些指令被收進(jìn)一本不斷擴(kuò)充的手冊(cè)里。

論文把這種機(jī)制稱為“元認(rèn)知路徑(Metacognitive Pathway)”,意思是模型在“思考自己的思考”。

舉個(gè)例子:當(dāng)模型遇到一道擲骰子概率題,它可能調(diào)用behavior_total_outcomes(計(jì)算所有可能結(jié)果)和 behavior_inclusion_exclusion(用容斥原理避免重復(fù)計(jì)數(shù))。

調(diào)用完就不再多說廢話,答案照出。

所以,每個(gè)行為是一段壓縮的思維過程。它把原本要幾十步才能重建的推導(dǎo),濃縮成一句話。

論文展示了多個(gè)實(shí)驗(yàn)結(jié)果。在 MATH 數(shù)據(jù)集上,行為調(diào)節(jié)推理(Behavior-conditioned Inference)讓模型的推理token平均減少近一半;在 AIME–24/25 高難數(shù)學(xué)題上,模型在低預(yù)算(2048–8192 tokens)下仍保持穩(wěn)定精度。

自我復(fù)盤,像人一樣“省思考”

長(zhǎng)期以來,大模型被詬病“啰嗦”:每解一道題,都要展開冗長(zhǎng)的 chain-of-thought,把所有中間步驟重新鋪一遍。

這不僅浪費(fèi) token,也拉低了模型吞吐量。Meta 讓模型自己反思,自己提煉,自己精簡(jiǎn)。


行為提取提示設(shè)計(jì)

論文設(shè)計(jì)了三種模式:

第一種,是“行為調(diào)節(jié)推理”(Behavior-conditioned Inference)。模型從手冊(cè)里調(diào)出相關(guān)行為提示,帶著它們?nèi)ソ忸}。
結(jié)果:少寫46%的token,準(zhǔn)確率不降反升。

第二種,是“行為引導(dǎo)自我改進(jìn)”(Behavior-guided Self-improvement)。模型用自己總結(jié)的行為來指導(dǎo)下次推理。
結(jié)果:正確率比普通“自我批改”提升10%。

第三種,是“行為調(diào)節(jié)監(jiān)督微調(diào)”(Behavior-conditioned SFT)。Meta 研究者用帶有行為提示的推理數(shù)據(jù)去訓(xùn)練學(xué)生模型。
結(jié)果:學(xué)生模型學(xué)會(huì)推理,比傳統(tǒng)微調(diào)版本更聰明、更高效。

實(shí)驗(yàn)中,Meta 使用了 R1-Llama-70B 作為“元認(rèn)知策略師”,并測(cè)試了 Qwen3-32B、Llama-3.1-8B 等多個(gè)學(xué)生模型。

幾乎所有模型都出現(xiàn)了相同現(xiàn)象:推理token直線下滑,性能保持平穩(wěn)。

研究者把這一現(xiàn)象形容為:“模型從慢推導(dǎo)變成快反應(yīng)?!彼辉倜看味贾貙懰季S,而是像人一樣,學(xué)會(huì)了用經(jīng)驗(yàn)來省思考。

注:頭圖AI生成

閱讀最新前沿科技趨勢(shì)報(bào)告,請(qǐng)?jiān)L問歐米伽研究所的“未來知識(shí)庫”

https://wx.zsxq.com/group/454854145828


未來知識(shí)庫是“ 歐米伽 未來研究所”建立的在線知識(shí)庫平臺(tái),收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級(jí)智能,數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來趨勢(shì)。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828 進(jìn)入。


特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
意甲領(lǐng)頭羊易主!21歲新援一劍封喉,國(guó)米1-0羅馬一戰(zhàn)造2大神跡

意甲領(lǐng)頭羊易主!21歲新援一劍封喉,國(guó)米1-0羅馬一戰(zhàn)造2大神跡

釘釘陌上花開
2025-10-19 05:52:26
中國(guó)航空公司集體“說不”!外交部再次表態(tài)

中國(guó)航空公司集體“說不”!外交部再次表態(tài)

藍(lán)色海邊
2025-10-18 14:24:52
醫(yī)生發(fā)現(xiàn):天冷堅(jiān)持戴帽子的人,過不了半年,身體或會(huì)有4大變化

醫(yī)生發(fā)現(xiàn):天冷堅(jiān)持戴帽子的人,過不了半年,身體或會(huì)有4大變化

軒逸阿II
2025-10-14 09:57:55
又一家建筑龍頭申請(qǐng)破產(chǎn)重整!負(fù)債50多億,公司賬上只有9000萬元

又一家建筑龍頭申請(qǐng)破產(chǎn)重整!負(fù)債50多億,公司賬上只有9000萬元

火山詩話
2025-10-19 07:52:59
丹麥媒體:魯內(nèi)確定跟腱斷裂,或?qū)⑷标嚤荣惲鶄€(gè)月

丹麥媒體:魯內(nèi)確定跟腱斷裂,或?qū)⑷标嚤荣惲鶄€(gè)月

懂球帝
2025-10-19 00:27:23
女子千辛萬苦入職臺(tái)積電,月入過萬福利拉滿,這輩子都不走了

女子千辛萬苦入職臺(tái)積電,月入過萬福利拉滿,這輩子都不走了

映射生活的身影
2025-10-17 13:51:25
4勝3負(fù)!石宇奇艱難屠龍,梁王完敗出局,附丹麥公開賽決賽賽程

4勝3負(fù)!石宇奇艱難屠龍,梁王完敗出局,附丹麥公開賽決賽賽程

佑銘羽球
2025-10-19 03:58:43
印度程序員一人兼 4 份全職,還拿下年薪 20 萬美元 Offer:請(qǐng)病假的時(shí)候,竟在 GitHub 上給別家寫代碼?

印度程序員一人兼 4 份全職,還拿下年薪 20 萬美元 Offer:請(qǐng)病假的時(shí)候,竟在 GitHub 上給別家寫代碼?

了不起的程序員
2025-10-13 10:42:20
F1美國(guó)站沖刺賽:邁凱倫雙車相撞退賽,維斯塔潘奪冠

F1美國(guó)站沖刺賽:邁凱倫雙車相撞退賽,維斯塔潘奪冠

雷速體育
2025-10-19 01:53:09
德約科維奇職業(yè)生涯第18次入圍年終總決賽,追平費(fèi)德勒紀(jì)錄

德約科維奇職業(yè)生涯第18次入圍年終總決賽,追平費(fèi)德勒紀(jì)錄

懂球帝
2025-10-18 23:34:57
陳賡授大將被調(diào)侃,他卻得意地說: 徐老虎和許和尚當(dāng)年都是我部下

陳賡授大將被調(diào)侃,他卻得意地說: 徐老虎和許和尚當(dāng)年都是我部下

大運(yùn)河時(shí)空
2025-10-17 21:46:52
董路:沒跟孩子們簽約有點(diǎn)后悔,當(dāng)時(shí)太在乎情懷了

董路:沒跟孩子們簽約有點(diǎn)后悔,當(dāng)時(shí)太在乎情懷了

茜子足球
2025-10-18 14:34:22
1975年,蔣介石最后一個(gè)春節(jié),重病中致電毛主席,想了卻一樁心愿

1975年,蔣介石最后一個(gè)春節(jié),重病中致電毛主席,想了卻一樁心愿

顧史
2025-10-18 18:47:36
董事長(zhǎng)失聯(lián),總裁被抓!總負(fù)債8729億,連續(xù)暴雷的萬科還能挺住嗎

董事長(zhǎng)失聯(lián),總裁被抓!總負(fù)債8729億,連續(xù)暴雷的萬科還能挺住嗎

禾寒?dāng)?/span>
2025-10-18 12:38:36
陳偉霆何穗官宣當(dāng)爸媽!4大超模都已名花有主,三位嫁給了港男

陳偉霆何穗官宣當(dāng)爸媽!4大超模都已名花有主,三位嫁給了港男

阿訊說天下
2025-10-18 13:01:28
西媒:抗議網(wǎng)約車平臺(tái)贊助巴薩,巴塞羅那全城出租車司機(jī)罷工

西媒:抗議網(wǎng)約車平臺(tái)贊助巴薩,巴塞羅那全城出租車司機(jī)罷工

雷速體育
2025-10-19 03:59:20
6億棟!住建部已經(jīng)查清全國(guó)房子總數(shù),樓市正在迎來新變革?

6億棟!住建部已經(jīng)查清全國(guó)房子總數(shù),樓市正在迎來新變革?

巢客HOME
2025-10-18 05:45:03
郭爸爸曝郭碧婷家庭花銷全靠她支付,網(wǎng)友:嫁了個(gè)“偽豪門”?

郭爸爸曝郭碧婷家庭花銷全靠她支付,網(wǎng)友:嫁了個(gè)“偽豪門”?

代軍哥哥談娛樂
2025-10-18 09:59:25
國(guó)安2球落后!媒體人熱議:千古奇冤塞蒂恩,王剛又坑拉米羅

國(guó)安2球落后!媒體人熱議:千古奇冤塞蒂恩,王剛又坑拉米羅

奧拜爾
2025-10-18 16:43:55
郭碧婷父親曝內(nèi)幕:孩子學(xué)費(fèi)保姆費(fèi)全她付!向家豪門濾鏡碎一地

郭碧婷父親曝內(nèi)幕:孩子學(xué)費(fèi)保姆費(fèi)全她付!向家豪門濾鏡碎一地

陳意小可愛
2025-10-19 08:28:45
2025-10-19 09:12:49
人工智能學(xué)家 incentive-icons
人工智能學(xué)家
人工智能領(lǐng)域權(quán)威媒體
4256文章數(shù) 37328關(guān)注度
往期回顧 全部

科技要聞

物理學(xué)家楊振寧先生逝世

頭條要聞

媒體:美曾明確要求替換中資企業(yè)領(lǐng)導(dǎo)層 荷蘭反誣中方

頭條要聞

媒體:美曾明確要求替換中資企業(yè)領(lǐng)導(dǎo)層 荷蘭反誣中方

體育要聞

泰州隊(duì)總分9-8點(diǎn)殺南京隊(duì) 晉級(jí)蘇超決賽

娛樂要聞

陳偉霆何穗無預(yù)警官宣結(jié)婚生子

財(cái)經(jīng)要聞

特朗普軟了:對(duì)華高額關(guān)稅訛詐 不可持續(xù)

汽車要聞

全新領(lǐng)克03家族上市限時(shí)售價(jià)10.38萬起

態(tài)度原創(chuàng)

本地
健康
藝術(shù)
游戲
公開課

本地新聞

考上警犬專業(yè),我和修勾一起卷編制

內(nèi)分泌科專家破解身高八大謠言

藝術(shù)要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

《羊蹄山》曾考慮女主愛情線:能和某些角色配對(duì)

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進(jìn)入關(guān)懷版 乱码一线二线三线新区破解欧| 极品少妇内射第| 日韩最新网址| 一区二区三区高清日本vr| 亚洲精品日本久久一区二区三区| 精品亚洲韩国一区二区三区 | 午夜dv内射一区二区| 超碰caopeng| 少妇尿尿一区二区在线免费| 少妇china中国人妻video| 韩日av一区二区| 国产91精品一区二区麻豆| 69人人人人人人人人视频| 99久久国产综合精品1| 久久精品A一国产成人免费网站| jk小仙女自慰流白浆呻吟| 亚洲国产精品无码久久电影 | 无码中字出轨中文人妻中文中| 色婷婷美国农夫综合激情亚洲| 免费视频好湿好紧好大好爽| 爽爽影院免费观看| 女人久久久久久| 无码精品毛片波多野结衣| 人妻快乐人妻| 五码在线视频| 国产精品无码久久av嫩草| 小雪第一次交换又粗又大老杨| 国产自慰网站| 最新国产网站| 自拍校园亚洲欧美另类| 亚洲人成网站色www| 精产国品一二三产区| 毛片精品免费视频| 亚洲日韩电影久久| 亚洲AV成人片| 狼人久久影院| 国产乱人伦偷精品视频不卡| 精品在线观看99热| 囯产无卡毛片一二三四区| www好屌妞| 久久久久成人精品无码中文字幕|