OpenAI 把整個瀏覽器讓給 AI,Anthropic 讓模型直接看桌面,Google 透過 Gemini API 開放 Computer Use,也讓這項技術的不同版本支援自家產品。三條路線、各放棄了什麼。
把電腦交給 LLM 操作,已經不是一句話指令的事了。OpenAI、Anthropic、Google 三家把這件事拆成了三種工程做法:有人先把整個瀏覽器讓出來,有人讓模型直接看螢幕、壓滑鼠按鍵盤,也有人把模型做成 API、讓別人串自己的瀏覽器。近年三家陸續推出不同的電腦操作方案;OpenAI 的 Atlas 已退場,Anthropic 收購的 Vercept 也停止對外產品。本篇用白話拆開來看三家在工程上取了什麼捨,最後帶到開源社群與學術界怎麼回應這條賽道。
OpenAI 在 2025 年推出可自行操作瀏覽器的 Operator,但此前已有其他公司推出相關產品。2025 年初,他們先推出 Operator:一個能用瀏覽器幫你訂位、填表、下單的助理;後來又把這個能力整合進 ChatGPT 對話。同年 10 月,OpenAI 推出自家瀏覽器 ChatGPT Atlas,想把「對話、瀏覽器、AI 代理」三件事綁在同一個視窗裡。
Operator 走的是雲端遠端桌面路線:Operator 使用由 OpenAI 託管的遠端瀏覽器,模型透過畫面決定操作,使用者不必在自己的電腦安裝額外軟體;這種做法讓符合使用資格的人不必為任務自行架設瀏覽器環境,但操作仍須經過遠端服務,同時意味著每個任務的往返時間都得算上機房與本機之間的網路延遲。Atlas 則相反,它把 AI 代理直接做進瀏覽器分頁裡,使用者在自己熟悉的分頁介面就能叫 AI 整理頁面、抓資料或下單。
這條路線放棄的是使用者對「一般瀏覽器」的期待:Atlas 保留分頁、書籤和密碼等一般瀏覽器功能,並加入 ChatGPT 對話與代理操作。它的賣點是使用者能用自然語言請代理研究網頁、規劃活動或協助預約;代價是當你想自己動手時,介面會顯得彆扭。
一位媒體記者指出,OpenAI 已宣布 ChatGPT Atlas 將「sunset」、目標 8 月 9 日正式停用,報導也把 Atlas 停用放在 OpenAI 縮減「side quests」的產品調整背景下;同篇文章引用《華爾街日報》3 月的報導指出 OpenAI 當時規劃整合 ChatGPT、Codex 與 Atlas,其後推出的 ChatGPT Work 是 ChatGPT 內的代理功能。換句話說,瀏覽器獨立成一個產品的路線被併回去了,但 AI 操作瀏覽器的能力並沒有消失,只是換了一個殼。
Anthropic 走的是另一條路:模型看見什麼,就能點什麼。2024 年 10 月,他們推出 Claude 的 Computer Use 能力,模型收到一張螢幕截圖,就能決定下一步要按哪個按鈕、打什麼字、捲到哪裡。這條路不像 OpenAI 是從「瀏覽器」出發,而是從「整台電腦」出發:瀏覽器只是其中一種介面,系統設定、桌面應用、檔案總管也都在它的觸及範圍內。
Anthropic 官方部落格寫得很直接:Anthropic 2026 年 2 月 25 日公告稱,Sonnet 系列的 OSWorld 成績從 2024 年底的低於 15%,提升至當時 Sonnet 4.6 的 72.5%。同一份聲明並稱,Sonnet 4.6 已經逼近人類水準,能處理跨瀏覽器分頁操作複雜的試算表與網頁表單。
Vercept 這家被併進 Anthropic 的公司,三位創辦人 Kiana Ehsani、Luca Weihs 與 Ross Girshick過去專注在「讓 AI 看見並實際操作電腦介面」這個難題。併入 Anthropic 之後,Vercept 把自家外部產品收掉,未來改在 Anthropic 內部繼續推進電腦操作能力。這也代表 Anthropic 在這條賽道的人才布局仍在加碼。
Computer Use 路線放棄的是「精準」與「速度」。模型要先看截圖、再決定滑鼠要移幾個像素、再觸發動作,每一步都可能出錯;但換到的是它能處理瀏覽器以外的場景,例如本地應用、系統對話框、特殊按鈕。對於沒有 API 的老舊軟體或只能靠畫面操作的流程,這條路反而比「透過 API 串接」更通用。
OSWorld 之所以重要,是因為它把「AI 操作電腦」拆成一個可以量化比較的任務集:給模型一張電腦畫面與一句任務指令,評測它能不能真的點對按鈕、填對欄位、在多步驟之間不丟失狀態;分數上升代表的不只是模型變聰明,而是「看圖操作」這條原本很脆弱的能力被工程化到接近可用。在這層意義上,Anthropic 把 Computer Use 從實驗室功能升級為企業客戶可用的產品,關鍵不是 72.5% 這個數字本身,而是這個數字背後代表「這件事現在真的有人會付錢」。
Google 在 2025 年 10 月 7 日推出 Gemini 2.5 Computer Use 模型,並以預覽形式透過 Gemini API 對外開放;Google DeepMind 部落格指出,Gemini 2.5 Computer Use 以 Gemini 2.5 Pro 為基礎,主要針對瀏覽器最佳化,在行動介面控制展現高度潛力,但官方也明說「還沒有最佳化到桌機作業系統層級」。
這條路的關鍵差異在於:Google 除了經營 Chrome 瀏覽器,也透過 Gemini API 開放電腦操作能力,也不太想綁特定作業系統。他們把模型收進一個名為 computer_use 的工具,開發者串進自己的應用後,模型會依「截圖 → 動作 → 結果回應」的迴圈反覆操作介面與工具。這項技術的不同版本也曾支援 Google 自家的 Project Mariner、Firebase Testing Agent 與搜尋 AI Mode——官方在同篇文章中明列這三個用途。
這條路放棄的是「隨插即用」的桌面體驗:你必須自己選瀏覽器、自己接截圖與動作的介面;但換到的是模型可以同時服務很多產品線——一個模型、很多介面——而且 Google 另提供模型外的逐步安全服務,在模型提出每個動作後、執行前進行評估;特定行動可要求使用者確認。
| 項目 | OpenAI | Anthropic | |
|---|---|---|---|
| 主要載體 | Operator 服務、ChatGPT Atlas 瀏覽器(已宣布於 2026 年 8 月 9 日停用),相關能力轉入 ChatGPT 桌面應用程式的瀏覽與 Work 功能,並延伸至其他支援的體驗 | Claude 模型原生 Computer Use 能力,模型看截圖、決定滑鼠與鍵盤動作 | Gemini 2.5 Computer Use 模型,透過 Gemini API 開放給開發者與自家產品 |
| 能動到哪裡 | 瀏覽器為主,集中在網頁任務;Atlas 退役後,相關瀏覽能力轉入 ChatGPT 桌面應用程式及其他支援入口 | 整台作業系統,包含瀏覽器、本地應用、系統對話框 | 瀏覽器為主、桌機未最佳化;在行動介面控制展現高度潛力 |
| 公開評測表現 | Online-Mind2Web 的 hard 子集上,OSU NLP 排行榜列出 Operator 成績約 43%;TinyFish 另行公布自家測試結果(見開源段落) | Sonnet 4.6 在 OSWorld 達 72.5%,逼近人類水準(Anthropic 2026-02-25 公告) | Google 公布了多項評測結果,包括 Gemini 2.5 Computer Use 在 Online-Mind2Web 的 69.0%,並強調其低延遲 |
| 主要取捨 | 瀏覽器獨立成產品的路線被收回;把對話、瀏覽器、AI 代理綁進單一桌面 app,介面複雜度上升 | 以截圖及滑鼠鍵盤動作操作圖形介面;跨產品的速度與精準度仍須在相同條件下比較 | 模型可同時服務多產品線;但開發者必須自己接瀏覽器、桌面或雲端環境 |
把三家放在一起看,其實是在同一個工程問題上做不同選擇。第一個問題是「OS 的邊界畫在哪裡」:畫在瀏覽器內最省事,但使用者一離開瀏覽器就走不通;畫在整台電腦最通用,但每一步都要從截圖重新理解。第二個問題是「要不要賣產品」:OpenAI 想直接賣瀏覽器,Google 把能力做成 API 由別人接,Anthropic 把能力塞進自己的模型讓開發者串 API。第三個問題是「退場快不快」:Atlas 上線不到一年就停用,Google 讓 Computer Use 技術的不同版本支援 Mariner 等產品——AI 操作電腦的「正確產品形狀」,目前還沒人確定。
不想把 AI 操作電腦的能力綁死在某一家公司的瀏覽器或雲端上,開發者開始用開源工具自己組。有個開源專案的設計是把模型、瀏覽器自動化、HTML 解析拆開來,模型可以換 Gemini、Claude、Qwen、Llama、DeepSeek 等多家,瀏覽器則可以串接本機的 Chrome 或遠端的雲端瀏覽器;同一個團隊也推出 Browser Use Cloud 服務,使用學術界提出的 Online-Mind2Web 300 項公開任務進行自家評測,用「自家 agentic judge」跑出 98% 的自評分數,但未公開該次測試的逐題資料、模型與設定瀏覽器即服務說明。
另一家新創則採取不同拆法:模型分成 reasoning layer 與 execution layer,模糊、需要推理的 20-30% 步驟交給大型語言模型,剩下機械式操作交給任務專用的小模型。在這篇自家測試中,TinyFish 測試了 Online-Mind2Web 的 300 題全集;其 hard 子集約得 81%,並引用 OSU NLP 排行榜中 Operator 約 43% 的 hard 成績比較。這個數字是 TinyFish 自家跑出來的,不是獨立第三方評測,但因為 300 個任務與全部執行紀錄都有公開,引用時值得註明「TinyFish 自評」這層保留。
開源社群的共同取捨是:拆得開、可換零件;開源工具讓開發者自行組裝元件;不同產品的效能與分數,仍須在相同條件下比較,但避開了被綁進單一廠商介面的風險。
還有另一家新創走的是更通用、企業可自架的路線:開發者用自然語言描述任務流程後,Skyvern 可以在自家瀏覽器環境重複執行同一支流程,能串接本機或雲端瀏覽器,也提供工作流程紀錄。這類開源或半開源專案共同的取捨是「不如單家原廠貼合模型,但更貼近企業內部流程,方便依自身需求調整」。
這些專案也帶動了「電腦操作 AI」這個領域本身的評測文化:Online-Mind2Web、WebVoyager、OSWorld 等基準這兩年快速擴充,連過去只在研究圈跑的評測,都開始被各家原廠與開源社群拿出來當宣傳或比較的依據。對一般使用者來說,這代表以後比較不同代理的能力時,會有越來越多公開、可查的分數可看,不再只能靠各家說法。
學術圈的關注點不在「AI 操作電腦能不能做對」,而在「AI 操作電腦會不會被拐去做錯」。一篇 2026 年 10 月的論文作者群 Giulio Zingrillo、Hanna Foerster、Ilia Shumailov、Yiren Zhao、Robert Mullins 提出 STEER-Bench:一個涵蓋 9 個領域、101 個任務的新基準,專門用來測試「被網頁內容拐去做事先通過、實際有風險的動作」的攻擊成功率。
| 項目 | 數值 |
|---|---|
| 標準 Computer Use Agent | 94.4% |
| vanilla Dual-LLM 架構 | 89.5% |
| COBRA 架構(論文提案) | 0% |
這份測試的結果是:對「標準」的 Computer Use Agent,攻擊成功率達 94.4%;對一種常見的隔離設計,也還有 89.5%。同一篇論文提出一個名為 COBRA 的新架構:先用可信任的方式決定「這個動作屬於哪一條已批准的分支」,再用事前簽好的能力範圍限制每條分支能動到哪些參數與目的地。COBRA 在 STEER-Bench 上把攻擊成功率降到 0%,並保留對照系統正常任務效用的 97%。這份論文被 NeurIPS 2026 的「Agents in the Wild」工作坊接受發表。
這種「代理被網頁內容拐走」的風險之所以特別棘手,是因為它發生在使用者看不到的地方:模型不是被「明確的惡意指令」攻擊,而是模型可能被網頁或工具回應中的不可信資料引導,在沒有明確惡意指令的情況下走向事先批准、實際有風險的分支。對一般使用者來說,這代表在使用 AI 操作瀏覽器或桌面的工具時,「看到的內容」與「模型真正讀到的內容」並不總是同一件事,因此企業在導入這類代理時,必須把每一次「點按」與「送出」都視為獨立可審查的動作,而不是把整個工作階段當成一筆黑箱交易。
這也回頭呼應三家廠商的取捨:OpenAI 把 AI 塞進瀏覽器時,能不能擋下被網頁內容拐去做「刪除雲端硬碟」這種事先通過的危險動作?Anthropic 讓模型看見整個桌面時,螢幕上一則訊息有沒有可能把它導向財務匯款?Google 把模型做成 API 給別人接時,呼叫端有沒有責任幫忙限制可到達的範圍?這些問題目前沒有標準答案。

