在醫(yī)療領(lǐng)域，傳統(tǒng)大模型的應(yīng)用往往面臨“顧此失彼”的技術(shù)瓶頸，這一挑戰(zhàn)主要體現(xiàn)在理解和生成能力的失衡上。

具體而言，當(dāng)模型引入涵蓋醫(yī)學(xué)影像理解和生成任務(wù)的混合數(shù)據(jù)時，兩種任務(wù)的性能都顯著弱于使用單一數(shù)據(jù)訓(xùn)練的模型。這種性能失衡現(xiàn)象源于兩個核心問題：

首先，多模態(tài)醫(yī)療訓(xùn)練語料缺乏類似通用領(lǐng)域的高質(zhì)量和大規(guī)模數(shù)據(jù)，難以保證理解與生成數(shù)據(jù)的完備性。以 DeepSeek 的統(tǒng)一模型 Janus 為例，其訓(xùn)練需要海量數(shù)據(jù)支持，而醫(yī)療數(shù)據(jù)的稀缺性成為主要制約因素。

其次，更深層次的技術(shù)矛盾在于，理解任務(wù)和生成任務(wù)在空間表征模式上存在本質(zhì)性沖突。傳統(tǒng)模型架構(gòu)由于缺乏有效的任務(wù)協(xié)調(diào)機(jī)制，往往將兩種任務(wù)表征強(qiáng)行混合到同一維度，難以同時滿足“雙向需求”，最終導(dǎo)致性能失衡。

為解決上述問題，浙江大學(xué)聯(lián)合阿里巴巴、新加坡國立大學(xué)、香港科技大學(xué)、電子科技大學(xué)等團(tuán)隊，創(chuàng)新性地提出了基于異構(gòu)知識適應(yīng)的醫(yī)療大型視覺語言模型 HealthGPT。該模型首次實現(xiàn)了醫(yī)療多模態(tài)在統(tǒng)一理解與生成任務(wù)上的協(xié)同優(yōu)化。

研究團(tuán)隊通過兩大技術(shù)創(chuàng)新突破了傳統(tǒng)局限：一是提出視覺感知的層級分配方法，二是開發(fā)了任務(wù)層面的特征解耦技術(shù)。

這些創(chuàng)新構(gòu)建了獨特的“雙通道”智能處理機(jī)制：一方面，通過分層感知實現(xiàn)多尺度特征提取，另一方面，通過特征解耦為不同任務(wù)配備獨立的影像分析和生成模塊，從而動態(tài)調(diào)取不同任務(wù)模式需要的知識。

其不僅能夠統(tǒng)一處理醫(yī)療視覺理解與生成任務(wù)——既能精準(zhǔn)解讀醫(yī)學(xué)影像，也能生成專業(yè)級的醫(yī)學(xué)影像，還顯著提升了多模態(tài)任務(wù)的性能和效率，最終實現(xiàn) CT 到核磁共振成像的模態(tài)轉(zhuǎn)換或從癥狀到 X 光影像生成等多種模態(tài)任務(wù)。

這種方法通過創(chuàng)新的高效參數(shù)微調(diào)、與之適配的層級視覺感知以及多階段訓(xùn)練策略，實現(xiàn)了“四兩撥千斤”的效果——只需少量參數(shù)和數(shù)據(jù)，就能讓預(yù)訓(xùn)練語言模型在醫(yī)療場景中逐步掌握影像解讀與生成能力，且盡可能忽略數(shù)據(jù)配比等傳統(tǒng)架構(gòu)面臨的關(guān)鍵瓶頸。

該論文通訊作者、浙江大學(xué)張文橋研究員對 DeepTech 解釋說道：“這相當(dāng)于在原有醫(yī)療 AI 體系架構(gòu)之外，用輕量方式構(gòu)建了一個完整的輔助空間，為智慧醫(yī)療的創(chuàng)新發(fā)展開辟了更多可能性。”

圖丨張文橋（來源：張文橋）

相關(guān)論文以《HealthGPT：一種通過異構(gòu)知識適應(yīng)實現(xiàn)理解與生成統(tǒng)一的醫(yī)學(xué)大型視覺語言模型》（HealthGPT: A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation）為題發(fā)表在預(yù)印本網(wǎng)站arXiv上 [1]。目前，論文已被國際人工智能頂級會議 ICML 2025（Spotlight）接受。

浙江大學(xué)博士生林天衛(wèi)是第一作者，浙江大學(xué)百人計劃研究員張文橋擔(dān)任通訊作者。

圖丨相關(guān)論文（來源：arXiv）

HealthGPT 在 7 種模態(tài)均取得最佳性能，且參數(shù)規(guī)模相對較小，最小版本僅為 38 億參數(shù)量。此外，在 OmniMedVQA 基準(zhǔn)測試中，更大參數(shù)版本如 HealthGPT-L14 的平均準(zhǔn)確率達(dá)到了 74.4%，顯著超越其他模型。

其中，38 億參數(shù)的較小版本以 68.5 分的準(zhǔn)確率超越此前 70 億參數(shù)的醫(yī)療專業(yè)模型（50 分），并優(yōu)于通用領(lǐng)域的統(tǒng)一理解生成模型；而 140 億參數(shù)的更大版本進(jìn)一步提升至 74.4 分，較此前最優(yōu)模型提升近 1.5 倍，充分驗證了其在理解任務(wù)上的強(qiáng)大能力。

表丨OmniMedVQA 基準(zhǔn)性能比較（來源：arXiv）

在醫(yī)療視覺生成任務(wù)（如模態(tài)轉(zhuǎn)化）上，HealthGPT 相比傳統(tǒng)方法也大幅提升。張文橋指出，該模型最關(guān)鍵的突破在于統(tǒng)一理解與生成能力——即便在兩者任務(wù)目標(biāo)相悖的情況下，模型性能仍優(yōu)于傳統(tǒng)模型。

優(yōu)越性能的背后，是研究團(tuán)隊不斷地探索和試錯。在研究初期，他們嘗試類似 Unified-IO 和 Janus 的思路，通過收集大量數(shù)據(jù)進(jìn)行“暴力”統(tǒng)一訓(xùn)練，但效果并不理想。

隨后，他們轉(zhuǎn)向高效參數(shù)微調(diào)，將理解與生成任務(wù)的知識通過創(chuàng)新的異質(zhì) LoRA（Low-Rank Adaptation）形式存儲在獨立插件中，避免傳統(tǒng)架構(gòu)在理解與生成任務(wù)間的沖突。

與傳統(tǒng) LoRA（僅凍結(jié)原模型參數(shù)并訓(xùn)練旁路模塊）不同，異質(zhì) LoRA 為理解和生成任務(wù)分別分配兩組專家模塊，每組專注于單一任務(wù)類型，從而避免不同表征模式?jīng)_突。

（來源：arXiv）

此外，針對同類任務(wù)（如不同理解任務(wù)），該團(tuán)隊引入混合專家機(jī)制（MoE，Mixture of Experts），讓多個專家共享知識以提升性能，生成任務(wù)同理。

但將單一 LoRA 視為專家的 MOE-LoRA 架構(gòu)存在訓(xùn)練成本高和推理延遲的問題，因此他們從矩陣乘法可逆性出發(fā)，在架構(gòu)上優(yōu)化 H-LoRA，大幅提升了訓(xùn)練和推理速度。H-LoRA 不僅適用于醫(yī)療領(lǐng)域，也可用于通用多模態(tài)架構(gòu)，在顯著減少訓(xùn)練延遲的基礎(chǔ)上進(jìn)一步提升性能。

數(shù)據(jù)收集同樣是關(guān)鍵挑戰(zhàn)。研究團(tuán)隊在避免依賴海量數(shù)據(jù)的前提下，需確保理解和生成任務(wù)內(nèi)各模態(tài)數(shù)據(jù)及指令類型的平衡，以維持知識多樣性和指令跟隨能力。張文橋強(qiáng)調(diào)：“醫(yī)療生成任務(wù)數(shù)據(jù)尤為稀缺，我們需在線搜集資源并依賴醫(yī)生標(biāo)注，因此在數(shù)據(jù)處理上投入了大量精力?！?/p>

分層視覺感知機(jī)制在適應(yīng)醫(yī)療場景復(fù)雜任務(wù)中發(fā)揮了核心作用。該機(jī)制基于前人研究——淺層網(wǎng)絡(luò)特征更具體，深層特征更抽象。因此，團(tuán)隊設(shè)計理解任務(wù)側(cè)重高層語義（抽象特征），而生成任務(wù)保留底層細(xì)節(jié)（具象特征），從而針對性保留醫(yī)學(xué)影像的特征粒度。

不過，現(xiàn)有機(jī)制雖有效，團(tuán)隊仍希望探索抽象與具象特征的互補(bǔ)性，而非完全割裂。例如，嘗試用抽象特征輔助生成，或利用具象特征增強(qiáng)理解。未來他們還計劃引入特征融合機(jī)制，結(jié)合兩者以進(jìn)一步提升任務(wù)性能。

（來源：arXiv）

HealthGPT 模型在高效訓(xùn)練與迭代、輕量化部署和多模態(tài)醫(yī)療影像等場景具有應(yīng)用潛力。一方面，HealthGPT 模型支持高效訓(xùn)練（H-LoRA），醫(yī)院數(shù)據(jù)持續(xù)更新時，基于模型的參數(shù)規(guī)模小，可快速迭代模型；另一方面，基于模型輕量級（參數(shù)規(guī)模?。┨匦裕刹渴鹪诙藗?cè)設(shè)備（如手機(jī)）。

在多模態(tài)醫(yī)療影像支持方面，醫(yī)生端可用于輔助診斷、查詢知識；患者端則能夠進(jìn)行基礎(chǔ)疾病咨詢，減少就醫(yī)成本。據(jù)介紹，目前該團(tuán)隊已與浙江大學(xué)醫(yī)學(xué)院附屬第二醫(yī)院、浙江大學(xué)邵逸夫醫(yī)院洽談合作，計劃在醫(yī)生端和患者端部署模型，實現(xiàn)實際醫(yī)療應(yīng)用。

此外，由于該模型具備多模態(tài)理解與生成能力，研究團(tuán)隊目前希望先應(yīng)用于醫(yī)療影像領(lǐng)域（如 CT 和核磁共振成像），協(xié)助醫(yī)生閱片。與此同時，他們也正在探索該模型是否可擴(kuò)展至罕見病診斷，并與浙江大學(xué)醫(yī)學(xué)院附屬第二醫(yī)院等機(jī)構(gòu)合作，開展初步嘗試。

在未來的研究中，該團(tuán)隊計劃在以下兩方面繼續(xù)探索：

第一，開發(fā)更大規(guī)模的 HealthGPT 模型。現(xiàn)有模型參數(shù)為 38 億和 140 億，他們打算繼續(xù)探索更強(qiáng)大的統(tǒng)一架構(gòu)和參數(shù)擴(kuò)展方法，以提升模型性能。

第二，研究醫(yī)療 Agent 系統(tǒng)，推動大小模型協(xié)同。正如 OpenAI 的 CEO 山姆奧特曼所說，模型協(xié)作是未來趨勢。實際上，許多疾病無需大模型即可解決，也就是說模型間能夠互補(bǔ)。

張文橋表示：“我們計劃將單一模型升級為 Health Agent，由不同角色（如醫(yī)生、患者）參與數(shù)據(jù)更新和參數(shù)優(yōu)化，構(gòu)建更完善的智能體級別的模型，這有望幫助醫(yī)療人員和患者提供更高質(zhì)量的醫(yī)療服務(wù)?！?/p>

參考資料：

1.https://arxiv.org/pdf/2502.09838

2.https://github.com/DCDmllm/HealthGPT

運營/排版：何晨龍