機器之心報道

編輯：陳陳

實時強化學習來了！AI 再也不怕「卡頓」。

設(shè)想這樣一個未來場景：多個廚師機器人正在協(xié)作制作煎蛋卷。雖然我們希望這些機器人能使用最強大可靠的智能模型，但更重要的是它們必須跟上瞬息萬變的節(jié)奏 —— 食材需要在精準時機添加，煎蛋過程需要實時監(jiān)控以確保受熱均勻。只要機器人動作稍有延遲，蛋卷必定焦糊。它們還必須應(yīng)對協(xié)作伙伴動作的不確定性，并做出即時適應(yīng)性調(diào)整。

實時強化學習

然而，現(xiàn)有的強化學習算法多基于一種理想化的交互模式：環(huán)境與智能體輪流「暫停」以等待對方完成計算或響應(yīng)。具體表現(xiàn)為：

環(huán)境暫停假設(shè)：當智能體進行計算決策和經(jīng)驗學習時，環(huán)境狀態(tài)保持靜止；

智能體暫停假設(shè)：當環(huán)境狀態(tài)發(fā)生轉(zhuǎn)移時，智能體暫停其決策過程。

這種類似「回合制游戲」的假設(shè)，嚴重脫離現(xiàn)實，難以應(yīng)對持續(xù)變化、延遲敏感的真實環(huán)境。

下圖突出顯示了智能體在實時環(huán)境中出現(xiàn)的兩個關(guān)鍵困難，而這些在標準的回合制 RL 研究中是不會遇到的。

首先，由于動作推理時間較長，智能體可能不會在環(huán)境的每一步都采取動作。這可能導(dǎo)致智能體采用一種新的次優(yōu)性策略，稱之為無動作遺憾（inaction regret）。

第二個困難是，動作是基于過去的狀態(tài)計算的，因而動作會在環(huán)境中產(chǎn)生延遲影響。這導(dǎo)致另一個新的次優(yōu)性來源，這在隨機環(huán)境中尤為突出，稱之為延遲遺憾（delay regret）。

在這樣的背景下，Mila 實驗室兩篇 ICLR 2025 論文提出了一種全新的實時強化學習框架，旨在解決當前強化學習系統(tǒng)在部署過程中面臨的推理延遲和動作缺失問題，使得大模型也能在高頻、連續(xù)的任務(wù)中實現(xiàn)即時響應(yīng)。

第一篇論文提出了一種最小化無動作遺憾的解決方案，第二篇提出了一種最小化延遲遺憾的解決方案。

最小化無動作：交錯推理

第一篇論文基于這樣一個事實：在標準的回合制強化學習交互范式中，隨著模型參數(shù)數(shù)量的增加，智能體無動作的程度也會隨之增加。因此，強化學習社區(qū)必須考慮一種新的部署框架，以便在現(xiàn)實世界中實現(xiàn)基礎(chǔ)模型規(guī)?；膹娀瘜W習。為此，本文提出了一個用于異步多過程推理和學習的框架。

• 論文地址：https://openreview.net/pdf?id=fXb9BbuyAD
• 代碼地址 https://github.com/CERC-AAI/realtime_rl
• 論文標題： ENABLING REALTIME REINFORCEMENT LEARNING AT SCALE WITH STAGGERED ASYNCHRONOUS INFERENCE

在該框架中，允許智能體充分利用其可用算力進行異步推理與學習。具體而言，本文提出了兩種交錯式推理算法，其核心思想是通過自適應(yīng)調(diào)整并行推理過程的時序偏移，使智能體能夠以更快的固定間隔在環(huán)境中執(zhí)行動作。

本文證明：只要計算資源足夠，無論模型有多大、推理時間有多長，使用任意一種算法都可以做到在每一個環(huán)境步都執(zhí)行動作，從而完全消除無動作遺憾。

本文在 Game Boy 和 Atari 實時模擬中測試了提出的新框架，這些模擬的幀率和交互協(xié)議與人類在主機上實際玩這些游戲時所體驗到的幀率和交互協(xié)議同步。

論文重點介紹了異步推理和學習在《寶可夢：藍》游戲中使用一個擁有 1 億參數(shù)的模型成功捕捉寶可夢時所展現(xiàn)的卓越性能。需要注意的是，智能體不僅必須快速行動，還必須不斷適應(yīng)新的場景才能取得進展。

此外，論文還重點介紹了該框架在像俄羅斯方塊這樣注重反應(yīng)時間的實時游戲中的表現(xiàn)。結(jié)果證明，在使用異步推理和學習時，模型規(guī)模越大，性能下降的速度就越慢。然而，大模型性能下降的根本原因是延遲遺憾效應(yīng)尚未得到解決。

用單個神經(jīng)網(wǎng)絡(luò)最小化無動作和延遲遺憾

• 論文地址：https://openreview.net/pdf?id=YOc5t8PHf2
• 項目地址：https://github.com/avecplezir/realtime-agent
• 論文標題： HANDLING DELAY IN REAL-TIME REINFORCEMENT LEARNING

第二篇論文提出了一種架構(gòu)解決方案，用于在實時環(huán)境中部署神經(jīng)網(wǎng)絡(luò)時最大限度地減少無響應(yīng)和延遲，因為在實時環(huán)境中，交錯推理并非可行。順序計算在深度網(wǎng)絡(luò)中效率低下，因為深度網(wǎng)絡(luò)中每一層的執(zhí)行時間大致相同。因此，總延遲會隨著網(wǎng)絡(luò)深度的增加而成比例增加，從而導(dǎo)致響應(yīng)緩慢。

這一局限性與早期 CPU 架構(gòu)的缺陷如出一轍 —— 當指令只能串行處理時，會導(dǎo)致計算資源利用率低下且執(zhí)行時間延長?，F(xiàn)代 CPU 采用 pipelining 技術(shù)成功解決了這一問題，該技術(shù)允許多條指令的不同階段并行執(zhí)行。

受此啟發(fā)，本文在神經(jīng)網(wǎng)絡(luò)中引入了并行計算機制：通過一次計算所有網(wǎng)絡(luò)層，有效降低了無動作遺憾。

為了進一步減少延遲，本文引入了時序跳躍連接（temporal skip connections），使得新的觀測信息可以更快地傳遞到更深的網(wǎng)絡(luò)層，而無需逐層傳遞。

該研究的核心貢獻在于：將并行計算與時序跳躍連接相結(jié)合，從而在實時系統(tǒng)中同時降低無動作遺憾和延遲遺憾。

下圖對此進行了說明。圖中縱軸表示網(wǎng)絡(luò)層的深度，從初始觀測開始，依次經(jīng)過第一層、第二層的表示，最終到達動作輸出；橫軸表示時間。因此，每一條箭頭代表一層的計算過程，所需時間為 δ 秒。

在基線方法中（左圖），一個新的觀測必須依次穿過全部 N 層網(wǎng)絡(luò)，因此動作的輸出需要 N × δ 秒才能獲得。

通過對各層進行并行計算（中圖），可以將推理吞吐量從每 Nδ 秒一次提高到每 δ 秒一次，從而減少無動作遺憾。

最終，時序跳躍連接（如右圖所示）將總延遲從 Nδ 降低至 δ—— 其機制是讓最新觀測值僅需單次 δ 延遲即可傳遞至輸出層。從設(shè)計理念來看，該方案通過在網(wǎng)絡(luò)表達能力與時效信息整合需求之間進行權(quán)衡，從根本上解決了延遲問題。

此外，用過去的動作 / 狀態(tài)來增強輸入可以恢復(fù)馬爾可夫特性，即使在存在延遲的情況下也能提高學習穩(wěn)定性。正如結(jié)果所示，這既減少了延遲，也減少了與優(yōu)化相關(guān)的遺憾。

兩者結(jié)合使用

交錯式異步推理與時序跳躍連接是彼此獨立的技術(shù)，但具有互補性。時序跳躍連接可減少模型內(nèi)部從觀測到動作之間的延遲，而交錯推理則確保即使在使用大模型時，也能持續(xù)穩(wěn)定地輸出動作。

兩者結(jié)合使用，可以將模型規(guī)模與交互延遲解耦，從而使在實時環(huán)境中部署既具有強表達能力、又響應(yīng)迅速的智能體成為可能。這對于機器人、自動駕駛、金融交易等高度依賴響應(yīng)速度的關(guān)鍵領(lǐng)域具有重要意義。

通過使大模型在不犧牲表達能力的前提下實現(xiàn)高頻率決策，這些方法為強化學習在現(xiàn)實世界的延遲敏感型應(yīng)用中落地邁出了關(guān)鍵一步。

https://mila.quebec/en/article/real-time-reinforcement-learning