允中 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

螞蟻健康與北京大學(xué)人民醫(yī)院王俊院士團(tuán)隊(duì)歷時(shí)6個(gè)多月，聯(lián)合十余位胸外科醫(yī)生共同打磨，發(fā)布了全球首個(gè)大模型專病循證能力的評(píng)測框架

GAPS（Grounding, Adequacy, Perturbation, Safety），及其配套評(píng)測集 GAPS-NSCLC-preview。

旨在解決現(xiàn)有醫(yī)療AI評(píng)測局限于考試式問答、缺乏臨床深度、完整性、魯棒性與安全性綜合評(píng)估的問題。

該評(píng)測集聚焦肺癌領(lǐng)域，包含92個(gè)問題、覆蓋1691個(gè)臨床要點(diǎn)，并配套全自動(dòng)化的評(píng)測工具鏈，通過指南錨定、多智能體協(xié)同實(shí)現(xiàn)從問題生成、評(píng)分標(biāo)準(zhǔn)制定到多維度打分的端到端自動(dòng)化。

目前，相關(guān)成果已應(yīng)用于“螞蟻阿?！?，論文《GAPS: A Clinically Grounded, Automated Benchmark for Evaluating AI Clinicians》、配套評(píng)測集GAPS-NSCLC-preview、自動(dòng)化評(píng)測框架已全面公開。

這項(xiàng)研究客觀評(píng)價(jià)了大模型的臨床能力：當(dāng)前主流醫(yī)療大模型雖已具備“醫(yī)學(xué)百科全書”般的知識(shí)廣度，但在臨床實(shí)踐中仍處于成長階段——

它們?cè)谙到y(tǒng)掌握醫(yī)學(xué)知識(shí)方面表現(xiàn)卓越，但在應(yīng)對(duì)真實(shí)臨床場景中的不確定性挑戰(zhàn)時(shí)，尚需進(jìn)一步提升判斷力與可靠性。

權(quán)威引領(lǐng)：北大人民醫(yī)院院士團(tuán)隊(duì)深度主導(dǎo)臨床標(biāo)準(zhǔn)構(gòu)建

本項(xiàng)目由中國工程院院士、北京大學(xué)人民醫(yī)院院長王俊教授領(lǐng)銜的團(tuán)隊(duì)全程主導(dǎo)，并與螞蟻團(tuán)隊(duì)深度協(xié)作完成。

在GAPS構(gòu)建過程中，院士團(tuán)隊(duì)原創(chuàng)性地提出了GAPS評(píng)測的理論框架，并組織十余位胸外科醫(yī)生持續(xù)參與評(píng)測題庫構(gòu)建、臨床金標(biāo)準(zhǔn)答案撰寫、模型輸出的專業(yè)審核與迭代優(yōu)化，提供NSCLC（非小細(xì)胞肺癌）領(lǐng)域前沿臨床指南的權(quán)威解讀與循證醫(yī)學(xué)方法論指導(dǎo)，確保每一項(xiàng)指標(biāo)都扎根真實(shí)臨床實(shí)踐，具備高度專業(yè)性與可信度。

螞蟻團(tuán)隊(duì)則發(fā)揮大模型與工程化能力優(yōu)勢，經(jīng)過多輪高強(qiáng)度醫(yī)工協(xié)同與反復(fù)迭代，將專家腦海中的復(fù)雜“臨床金標(biāo)準(zhǔn)”精準(zhǔn)沉淀為大模型可理解、可執(zhí)行的結(jié)構(gòu)化邏輯，實(shí)現(xiàn)GAPS的規(guī)?；?、自動(dòng)化與可落地應(yīng)用。

此次合作實(shí)現(xiàn)了“臨床專家定標(biāo)準(zhǔn)、AI 技術(shù)做轉(zhuǎn)化”的深度融合，突破了傳統(tǒng)醫(yī)療AI評(píng)測中專家淺層參與的局限，標(biāo)志著頂尖臨床專家與AI技術(shù)團(tuán)隊(duì)的深度協(xié)作，為醫(yī)療AI從“技術(shù)驅(qū)動(dòng)”走向“臨床價(jià)值驅(qū)動(dòng)”樹立了新的范式。

行業(yè)痛點(diǎn)：考得好，信不過

在和大模型討論醫(yī)療問題時(shí)，有時(shí)候回答得很好，有時(shí)候回答得很差，由于大模型的變化日新月異，醫(yī)生和患者都沒有辦法在短時(shí)間對(duì)大模型產(chǎn)生客觀評(píng)價(jià)，因此對(duì)大模型的信任就無從談起。

為了客觀評(píng)價(jià)大模型的能力，學(xué)界通常采用基準(zhǔn)測試的方法。

然而，當(dāng)前醫(yī)療AI的基準(zhǔn)測試普遍缺乏對(duì)模型循證能力、可解釋性與安全性的系統(tǒng)評(píng)估。

長期以來，醫(yī)療AI的評(píng)估依賴MedQA、PubMedQA等“試卷型”基準(zhǔn)，僅考察事實(shí)記憶能力；而HealthBench等基于人工評(píng)分細(xì)則（Rubric）的方法又受限于主觀性強(qiáng)、擴(kuò)展性差。

這些方法無法反映真實(shí)診療場景：患者描述模糊、檢查結(jié)果矛盾、治療方案需權(quán)衡利弊……正如論文所強(qiáng)調(diào)：

• 真正的醫(yī)療能力不在于背誦事實(shí)，而在于管理不確定性。

尤其在肺癌這一全球致死率最高的癌癥領(lǐng)域，缺乏細(xì)粒度、專病化的評(píng)估工具，使得醫(yī)療機(jī)構(gòu)和開發(fā)者難以客觀判斷醫(yī)療AI是否真正具備臨床可用性。

GAPS的誕生，正是為了填補(bǔ)這一關(guān)鍵空白。

破局之道：GAPS——從“考試機(jī)器”到“臨床醫(yī)生”的四維標(biāo)尺

GAPS是一個(gè)基于循證醫(yī)學(xué)、全自動(dòng)構(gòu)建的AI臨床能力評(píng)測框架，首次將臨床勝任力解構(gòu)為四個(gè)正交維度，并聚焦NSCLC（非小細(xì)胞肺癌）這一高難度專病場景進(jìn)行系統(tǒng)驗(yàn)證：

1、G（Grounding）認(rèn)知深度：不止于“是什么”，更考驗(yàn)“為什么”和“怎么辦”。

• G1和G2：事實(shí)回憶與解釋（AI的舒適區(qū)）
• G3：基于指南的循證決策（如NCCN推薦方案）
• G4：推理性思維（Inferential Reasoning）——在證據(jù)沖突或缺失的“灰色地帶”做出合理判斷，這是當(dāng)前所有模型的“死亡區(qū)”。

2、A（Adequacy）回答完備性：醫(yī)生的一句話可能關(guān)乎生死。GAPS引入三級(jí)評(píng)價(jià)：

• A1（必須有）：核心診療建議
• A2（應(yīng)該有）：關(guān)鍵限定條件（如劑量、禁忌癥、監(jiān)測指標(biāo)）
• A3（錦上添花）：患者教育、多學(xué)科協(xié)作建議等

缺少A2，再“正確”的建議也可能導(dǎo)致臨床誤用。

3、P（Perturbation）魯棒性：真實(shí)患者不會(huì)照著教科書說話。GAPS通過三類擾動(dòng)測試模型抗干擾能力：

• P1：語言噪音（口誤、方言）
• P2：冗余信息（無關(guān)癥狀堆砌）
• P3：對(duì)抗性前提（如誘導(dǎo)性錯(cuò)誤假設(shè)）

實(shí)驗(yàn)顯示，多數(shù)模型極易被誤導(dǎo)，甚至順從用戶的錯(cuò)誤引導(dǎo)。

4、S（Safety）安全底線：醫(yī)療容不得“差不多”。GAPS 建立四級(jí)風(fēng)險(xiǎn)體系：

S1（無關(guān)回答）→ S4（災(zāi)難性錯(cuò)誤/Never Events，如推薦禁忌藥物）

一旦觸犯S4，無論其他維度得分多高，總分直接歸零——這是不可逾越的紅線。

GAPS解決了現(xiàn)有醫(yī)療AI評(píng)測僅關(guān)注“準(zhǔn)確率”的局限，首次實(shí)現(xiàn)對(duì)循證決策能力、回答完備性、現(xiàn)實(shí)魯棒性與安全底線的系統(tǒng)性、自動(dòng)化評(píng)估。

其優(yōu)勢在于：以臨床指南為錨點(diǎn)，全自動(dòng)構(gòu)建高保真評(píng)測項(xiàng)與評(píng)分規(guī)則，兼具可擴(kuò)展性、可復(fù)現(xiàn)性與臨床真實(shí)性，為AI向可信臨床伙伴演進(jìn)提供精準(zhǔn)導(dǎo)航。

核心黑科技：全自動(dòng)化的“循證評(píng)測集”流水線

GAPS最大的技術(shù)亮點(diǎn)在于其端到端自動(dòng)化與可擴(kuò)展性

不同于以往依賴人工命題，GAPS構(gòu)建了一套基于臨床指南（Guidelines）的自動(dòng)化生成工廠：

1. 證據(jù)鄰域構(gòu)建：以NCCN、ESMO等權(quán)威指南為核心，自動(dòng)抓取3跳內(nèi)引用文獻(xiàn)，構(gòu)建高可信醫(yī)學(xué)知識(shí)圖譜與疾病話題樹；
2. Deep Research Agent：基于GRADE方法學(xué)，模擬人類專家圍繞PICO（人群、干預(yù)、對(duì)照、結(jié)果）展開的證據(jù)檢索、證據(jù)評(píng)估、強(qiáng)弱推薦的流程，自動(dòng)生成帶證據(jù)等級(jí)與推薦強(qiáng)度的高質(zhì)量評(píng)分細(xì)則；
3. 虛擬患者生成：利用大模型合成去隱私化臨床病例，并精準(zhǔn)對(duì)齊知識(shí)圖譜，確保每道題“有據(jù)可依、有理可循”。

該流水線已成功應(yīng)用于胸外科的專病——NSCLC（非小細(xì)胞肺癌），生成包含92道題、1691個(gè)臨床要點(diǎn)的評(píng)測集GAPS-NSCLC-preview

題目按認(rèn)知深度分為G1~G4四級(jí)（從事實(shí)回憶到不確定性下的推理），每題均配備平均12項(xiàng)完整性（A1~A3）與7項(xiàng)安全性（S1~S4）評(píng)分要點(diǎn)，并支持P0~P3四級(jí)擾動(dòng)測試。

未來可快速擴(kuò)展至心血管、兒科、內(nèi)分泌等任意專科的專病領(lǐng)域——只要有指南，就能生成高質(zhì)量評(píng)測集。

可靠的裁判：自動(dòng)化評(píng)測讓AI醫(yī)療能力可量化、可復(fù)現(xiàn)、可進(jìn)化

GAPS評(píng)測集同時(shí)搭配了一套高可靠性的自動(dòng)化評(píng)測框架，實(shí)現(xiàn)了對(duì)AI臨床能力的客觀、細(xì)粒度、端到端的自動(dòng)化評(píng)估。

為確保評(píng)測本身可信，團(tuán)隊(duì)將自動(dòng)化評(píng)分結(jié)果與五位資深專家的獨(dú)立標(biāo)注進(jìn)行嚴(yán)格比對(duì)：

在92個(gè)真實(shí)臨床查詢、1691個(gè)臨床要點(diǎn)上，該框架與專家共識(shí)的整體一致率達(dá)90.00%，Cohen’s Kappa系數(shù)達(dá)0.77（“實(shí)質(zhì)性一致”），Macro-F1達(dá)0.88——不僅顯著優(yōu)于現(xiàn)有基準(zhǔn)（如HealthBench中GPT-4的0.79），已達(dá)到人類專家間一致性水平（88.5%~92.0%）。

這證明GAPS評(píng)測集的自動(dòng)評(píng)判能力具備專家級(jí)可靠性。

在此基礎(chǔ)上，評(píng)測不再是終點(diǎn)，而是進(jìn)化的起點(diǎn)。

框架輸出的結(jié)構(gòu)化評(píng)分（G/A/P/S四維、MET/NOT-MET標(biāo)記）可精準(zhǔn)定位模型在循證決策、回答完備性、擾動(dòng)魯棒性或安全紅線上的缺陷；

由此，GAPS具備成為“評(píng)測即反饋、反饋即迭代”的最重要基石——AI醫(yī)療能力不再依賴模糊經(jīng)驗(yàn)，而是通過可量化的指標(biāo)、可復(fù)現(xiàn)的流程、可積累的進(jìn)化路徑，穩(wěn)步向臨床可用邁進(jìn)。

實(shí)戰(zhàn)揭秘：頂尖大模型的“滑鐵盧”

研究團(tuán)隊(duì)使用GAPS對(duì)GPT-5、Gemini 2.5 Pro、Claude Opus 4、Qwen3-235B-A22B-Instruct-2507、DeepSeek-V3.1-Terminus等主流模型進(jìn)行“體檢”，結(jié)果發(fā)人深?。?/p>

1、“百科全書”易做，“專家”難當(dāng)：

所有模型在G1（事實(shí)）和G2（解釋）階段表現(xiàn)優(yōu)異（GPT-5得分約0.72）。但一旦進(jìn)入G3（確定性決策）和G4（非確定性推理），分?jǐn)?shù)呈斷崖式下跌，GPT-5在G4階段跌至0.45，其他模型甚至跌破0.35。這說明 AI目前還只是“背書機(jī)器”，而非“推理伙伴”。

2、不僅要“對(duì)”，還要“全”：

在Adequacy（完備性）測試中，模型往往只給出核心建議（A1），卻忽略了關(guān)鍵的限定條件（A2），導(dǎo)致臨床建議缺乏可操作性。

3、極其脆弱的耳根子：

在P3（對(duì)抗性測試）中，只要在提問中加入一點(diǎn)誤導(dǎo)性前提（例如暗示某種錯(cuò)誤療法有效），模型的判斷力就會(huì)崩塌，甚至順從用戶的錯(cuò)誤引導(dǎo)。

4、安全隱患：

雖然GPT-5和Gemini 2.5在極高風(fēng)險(xiǎn)錯(cuò)誤（S4）上控制較好，但在復(fù)雜的推理場景下，部分模型（如Claude Opus 4）的致命錯(cuò)誤率隨難度顯著上升。

結(jié)語：GAPS評(píng)測框架是AI醫(yī)生從“Chatbot”到“Doctor”的必經(jīng)之路

GAPS的發(fā)布，標(biāo)志著醫(yī)療AI的評(píng)測標(biāo)準(zhǔn)從“考試分?jǐn)?shù)”“臨床勝任力”的范式轉(zhuǎn)移。

螞蟻健康與北大人民醫(yī)院的這項(xiàng)工作告訴行業(yè)——現(xiàn)有的通用大模型在面對(duì)復(fù)雜的臨床不確定性時(shí)，依然顯得稚嫩且脆弱。

未來的醫(yī)療AI研發(fā)，不能止步于預(yù)訓(xùn)練知識(shí)的灌輸，而必須轉(zhuǎn)向循證推理（Evidence-grounded Reasoning）、過程決策控制以及不確定性管理

GAPS不僅僅是一個(gè)榜單，它更是醫(yī)療AI進(jìn)化路上的“磨刀石”。只有跨越了GAPS設(shè)定的這四道關(guān)卡，AI醫(yī)生才能真正放心地走進(jìn)診室。

論文地址：
https://arxiv.org/abs/2510.13734

評(píng)測集地址：
https://huggingface.co/datasets/AQ-MedAI/GAPS-NSCLC-preview

自動(dòng)化評(píng)測框架地址：
https://github.com/AQ-MedAI/MedicalAiBenchEval