在日常使用電腦時(shí)，看著屏幕、點(diǎn)擊鼠標(biāo)是再自然不過的基本操作。但這種對(duì)人類明明很容易的操作方式，卻成為 AI 的巨大挑戰(zhàn)：它們視力差、動(dòng)作慢、不擅長(zhǎng)看也不擅長(zhǎng)點(diǎn)。

幾十年來，操作系統(tǒng)的圖形用戶界面（GUI）一直都是為人類使用而設(shè)計(jì)，從未考慮有一天，大語(yǔ)言模型（LLM）會(huì)成為操作系統(tǒng)新的使用者。

要知道，GUI 智能體與人類在能力上存在巨大的差異，完美適配人類能力特征的 GUI，反而非常不適合 LLM 使用。

LLM 擅長(zhǎng)語(yǔ)義規(guī)劃、定目標(biāo)、決策要“做什么”，而 GUI 逼著使用者給出具體“怎么做”的詳細(xì)步驟。但是，LLM 恰恰非常不擅長(zhǎng)這種低層次、繁瑣的機(jī)制性操作，因此很容易出錯(cuò)。

近期，中國(guó)科學(xué)院軟件研究所基礎(chǔ)軟件與系統(tǒng)重點(diǎn)實(shí)驗(yàn)室團(tuán)隊(duì)提出了一種新的思路，他們?yōu)椴僮飨到y(tǒng)引入了新的抽象，為大模型量身定制了目標(biāo)導(dǎo)向接口（GOI）。通過將 GUI 操作轉(zhuǎn)化為聲明式（Declarative）原語(yǔ)，顯著提高了 LLM 在自動(dòng)化計(jì)算機(jī)任務(wù)中的表現(xiàn)。

中國(guó)科學(xué)院軟件研究所陳海波教授對(duì) DeepTech 表示，GOI 的設(shè)計(jì)理念有望為領(lǐng)域帶來新的思考——系統(tǒng)或程序本身在設(shè)計(jì)時(shí)即假設(shè)用戶可能是 LLM，并提供 LLM 使用的接口，而非強(qiáng)迫 LLM 模仿人類，去使用那些為人類設(shè)計(jì)的接口。

簡(jiǎn)單來理解，GOI 讓 LLM 更像是“指揮官”而非“操作員”。傳統(tǒng)微調(diào)或重訓(xùn)練的方法，就像要求大模型模仿人類，學(xué)習(xí)掌握處理機(jī)制性操作的能力；而聲明式的 GOI 就像一位專業(yè)的“執(zhí)行助理”，接管了 LLM 不擅長(zhǎng)的機(jī)制操作。指揮官（大模型）專注于發(fā)揮本就擅長(zhǎng)的能力，下達(dá)“想要什么結(jié)果”（策略），GOI 這個(gè)“助理”會(huì)自動(dòng)處理所有底層的導(dǎo)航和交互（機(jī)制）。

GOI 與傳統(tǒng)接口最實(shí)質(zhì)的不同在于：傳統(tǒng)接口通常默認(rèn)接口的使用者為人類，而 GOI 是讓接口更適合 LLM 使用，對(duì) LLM 更友好。研究人員在 Windows 上的微軟 Office 套件（Word、PowerPoint、Excel）上評(píng)估了 GOI 的有效性。

結(jié)果顯示，與領(lǐng)先的基于 GUI 的代理基線相比，GOI 將任務(wù)成功率提升了 67%，步驟減少了 43.5%。值得注意的是，GOI 在 61% 以上的成功任務(wù)中，僅用一次 LLM 調(diào)用即完成了相關(guān)任務(wù)。

圖丨從左至右依次為：李明煜、陳海波和王遠(yuǎn)（來源：陳海波）

GOI 當(dāng)前基于 Windows 系統(tǒng)的 UIA 可訪問性機(jī)制實(shí)現(xiàn)，其設(shè)計(jì)理念同時(shí)具有跨平臺(tái)通用性，類似的可訪問機(jī)制接口在 macOS、Linux（例如 Ubuntu）、Android 等系統(tǒng)中均可提供。據(jù)介紹，GOI 在這些系統(tǒng)上落地，更多的是一種工程上的開發(fā)適配。

對(duì)于游戲和部分媒體應(yīng)用來說，這類應(yīng)用程序?yàn)檫_(dá)到更高的性能，采取了自繪和自定義的方法，并沒有全部使用操作系統(tǒng)通用的可訪問性類型和模式。因此，GOI 在這類應(yīng)用上的實(shí)現(xiàn)需要開發(fā)者進(jìn)行配合。

相關(guān)論文以《一種提高計(jì)算機(jī)使用代理效率的聲明式大語(yǔ)言模型友好界面的案例研究》（A Case for Declarative LLM-friendly Interfaces for Improved Efficiency of Computer-Use Agents）為題發(fā)表在預(yù)印本網(wǎng)站 arXiv[1]。論文作者包括中國(guó)科學(xué)院軟件研究所基礎(chǔ)軟件與系統(tǒng)重點(diǎn)實(shí)驗(yàn)室陳海波教授、李明煜副研究員和王遠(yuǎn)博士研究生。

圖丨相關(guān)論文（來源：arXiv）

研究團(tuán)隊(duì)首先從接口設(shè)計(jì)的角度分析問題。具體而言，為人使用設(shè)計(jì)的 GUI，對(duì)用戶能力做了四個(gè)關(guān)鍵假設(shè)：用戶視力好、操作快，但短期記憶空間小且不擅長(zhǎng)寫代碼。

這些假設(shè)對(duì) LLM 并不成立。LLM 視力差、推理慢，但是上下文空間巨大，且擅長(zhǎng)結(jié)構(gòu)化輸出。這種錯(cuò)配使得 LLM 使用 GUI 時(shí)遇到了很多挑戰(zhàn)。例如，在使用 GUI 時(shí)，功能不能被直接調(diào)用，而是需要輸出長(zhǎng)動(dòng)作鏈進(jìn)行“導(dǎo)航”和“交互”。

陳海波舉例說道，這就好比 LLM 去打車，命令式的 GUI 需要告訴司機(jī)“前方直行 100 米，第一個(gè)紅綠燈路口右轉(zhuǎn)，靠右前方行駛 50 米”，而不能直接聲明“目的地”。處理這些細(xì)粒度且繁瑣的步驟，恰恰是 LLM 不擅長(zhǎng)的。

該團(tuán)隊(duì)的一個(gè)很自然的思考是：是否可以將 GUI 使用中 LLM 不擅長(zhǎng)的部分交給操作系統(tǒng)，而非由 LLM 負(fù)責(zé)一切呢？

圖丨 GOI 抽象層概述（來源：arXiv）

基于此，他們發(fā)現(xiàn) APP 的使用可以分為策略（policy）機(jī)制（mechanism）兩部分。簡(jiǎn)單來理解，策略就是“做什么”：分析完成用戶任務(wù)需要用到什么功能；機(jī)制則是“怎么做”：如何通過一步步的 UI 導(dǎo)航和交互，觸發(fā)這些功能。

圖丨GUI 使用中的策略-機(jī)制耦合（來源：arXiv）

另一方面，研究人員將 GUI 的導(dǎo)航和交互抽象為訪問（access）、狀態(tài)（state）、觀測(cè)（observation）三類聲明式原語(yǔ)。這樣，LLM 不再需要輸出具體、繁瑣且易錯(cuò)的導(dǎo)航和交互步驟，而是直接通過聲明式原語(yǔ)聲明期望的結(jié)果。

“正是這三類聲明式原語(yǔ)將策略和機(jī)制解耦，允許 LLM 專注于策略的處理，規(guī)避了大量來自機(jī)制層面的失敗和交互開銷，因此帶來了準(zhǔn)確率和效率的大幅提升。”陳海波表示。

（來源：arXiv）

以幻燈片為例，用戶的需求是“將 PPT 背景全部設(shè)置為藍(lán)色”。在這一任務(wù)中，策略（功能編排）指的是使用“藍(lán)色”和“應(yīng)用到全部”這兩個(gè)功能，而機(jī)制（導(dǎo)航和交互）是點(diǎn)擊“設(shè)計(jì)”“設(shè)置背景格式”“純色填充”“顏色”“藍(lán)色”和“應(yīng)用到全部”，以觸發(fā)實(shí)際的功能。

（來源：資料圖）

另一個(gè)例子是，用戶要求將“滾動(dòng)條移動(dòng)到靠近結(jié)尾的位置”。在這一任務(wù)中，策略指的是確定一個(gè)最終位置，比如 80%，而機(jī)制（交互）指的是選中滾動(dòng)條、保持按住不釋放，多次拖拽和移動(dòng)并觀察最終狀態(tài)是否符合預(yù)期，直到移動(dòng)到目標(biāo)位置。

（來源：資料圖）

GUI 的設(shè)計(jì)耦合了策略與機(jī)制，應(yīng)用功能的使用前置依賴于導(dǎo)航和交互，無法被直接訪問。當(dāng)使用 GUI 時(shí)，LLM 不僅面臨著冗長(zhǎng)的動(dòng)作鏈條，過多的調(diào)用次數(shù)，還經(jīng)常在導(dǎo)航和交互中犯錯(cuò)，導(dǎo)致任務(wù)失敗。

“雖然 LLM 不擅長(zhǎng)處理機(jī)制，但我們發(fā)現(xiàn)，導(dǎo)航和交互兩個(gè)部分存在很強(qiáng)的確定性，這部分工作可以由算法確定性完成，不必 LLM 參與?！标惡２ū硎?。

具體來說，應(yīng)用控件間的轉(zhuǎn)換關(guān)系是確定的，可以被建模為有限狀態(tài)機(jī)；同時(shí)，在可訪問性下，控件可被歸類為有限數(shù)量的 41 種控件類型和 34 種控制模式。這為策略與機(jī)制的解耦提供了機(jī)會(huì)。

解耦后的結(jié)果，正是“聲明式”的交互范式。在這種范式下，LLM 直接指定期望的結(jié)果，而不是輸出完成結(jié)果的具體動(dòng)作。例如，LLM 可以直接聲明visit（“藍(lán)色”“應(yīng)用到全部”），而非輸出具體的導(dǎo)航路徑。

LLM 可以直接調(diào)用set_scrollbar_pos（80%）以設(shè)置最終位置，而非通過迭代交互以完成這一結(jié)果。這種聲明式接口，允許 LLM 專注于語(yǔ)義推理，而非自身不擅長(zhǎng)的細(xì)粒度的底層操作。

表丨命令式 GUI 與聲明式 GOI 的案例對(duì)比（來源：arXiv）

研究中的一個(gè)挑戰(zhàn)是，接口的設(shè)計(jì)必須考慮 LLM 的獨(dú)特能力特點(diǎn)，尤其是 LLM 不完美的指令遵從（instruction-following）。比如，雖然研究人員在 prompt 中要求 LLM 直接指定期望訪問的控件，而非輸出訪問這個(gè)控件所需要的具體導(dǎo)航步驟，LLM 仍有可能在回答中輸出具體的導(dǎo)航路徑，這會(huì)帶來更多錯(cuò)誤的可能性。

為解決該問題，他們對(duì)非葉子節(jié)點(diǎn)進(jìn)行了整體過濾，接口會(huì)自動(dòng)忽略這些導(dǎo)航節(jié)點(diǎn)，只保留 LLM 輸出中的葉子節(jié)點(diǎn)，以確保 GOI 完全接管控件的導(dǎo)航過程。

總結(jié)來說，“聲明式”協(xié)作范式的初衷，是通過重構(gòu)接口設(shè)計(jì)以簡(jiǎn)化 LLM 的計(jì)算機(jī)使用難度，允許 LLM 充分發(fā)揮自身所長(zhǎng)，規(guī)避自身能力短板，最終實(shí)現(xiàn)生產(chǎn)力的實(shí)質(zhì)提升。

在這一范式下，人類可以簡(jiǎn)潔地用自然語(yǔ)言表達(dá)自己的需求，而 LLM 和系統(tǒng)則能力互補(bǔ)。其中，LLM 專注于無法被確定性處理的語(yǔ)義推理任務(wù)，系統(tǒng)則負(fù)責(zé)處理可以被確定性解決的機(jī)制性任務(wù)。

研究團(tuán)隊(duì)認(rèn)為，LLM 時(shí)代下，操作系統(tǒng)正在加速演進(jìn)。在未來，操作系統(tǒng)可能會(huì)原生支持這種聲明式接口，支撐一種模型原生的操作系統(tǒng)設(shè)計(jì) [2]。例如，在官方提供的應(yīng)用開發(fā)框架中，集成自動(dòng)構(gòu)建導(dǎo)航拓?fù)涞哪芰Γ皇菍?yīng)用程序視為“黑盒”進(jìn)行外部探索以完成建模。最終，這種聲明式接口可能內(nèi)化于操作系統(tǒng)的構(gòu)建中，從而為“LLM 智能體”這一全新的計(jì)算機(jī)用戶提供原生支持。

參考資料：

1. A Case for Declarative LLM-friendly Interfaces for Improved Efficiency of Computer-Use Agents. Yuan Wang, Mingyu Li, Haibo Chen . https://arxiv.org/abs/2510.04607.

2. 模型原生操作系統(tǒng)：機(jī)遇、挑戰(zhàn)與展望. 陳海波、夏虞斌、陳榕、王肇國(guó)、糜澤羽、古金宇. 中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊. 2025 年第 2 期

運(yùn)營(yíng)/排版：何晨龍