3C Dogs
長期置頂|科技狗社團獨家團購須知
深度報導 · LLM OS

LLM 開始「動」電腦了:三家怎麼把瀏覽器和桌面交給 AI 操作

OpenAI 把整個瀏覽器讓給 AI,Anthropic 讓模型直接看桌面,Google 透過 Gemini API 開放 Computer Use,也讓這項技術的不同版本支援自家產品。三條路線、各放棄了什麼。

撰文/3C 傻狗編輯部
正文約 4,927 字・預估 10 分鐘讀完

把電腦交給 LLM 操作,已經不是一句話指令的事了。OpenAI、Anthropic、Google 三家把這件事拆成了三種工程做法:有人先把整個瀏覽器讓出來,有人讓模型直接看螢幕、壓滑鼠按鍵盤,也有人把模型做成 API、讓別人串自己的瀏覽器。近年三家陸續推出不同的電腦操作方案;OpenAI 的 Atlas 已退場,Anthropic 收購的 Vercept 也停止對外產品。本篇用白話拆開來看三家在工程上取了什麼捨,最後帶到開源社群與學術界怎麼回應這條賽道。

深色背景上斜向排開的三張官方示範畫面:左上是 ChatGPT Atlas 瀏覽器開著 Vrbo 住宿頁、右上角有「Ask ChatGPT」按鈕,中間是 Claude 的步驟欄與舊金山地圖視窗,右下是 Gemini 2.5 Computer Use 整理便利貼的畫面與右側推理紀錄
LLM 要動電腦,三家把「OS 的邊界畫在哪裡」畫成了不同形狀:由左上至右下依序是 OpenAI 的 ChatGPT Atlas、Anthropic 的 Claude Computer Use、Google 的 Gemini 2.5 Computer Use 官方示範畫面。影片截圖:OpenAI〈Introducing ChatGPT Atlas〉(0:22)、Anthropic〈Claude | Computer use for orchestrating tasks〉(0:55)、Google for Developers〈Gemini 2.5 Computer Use Model Demo - Sticky Notes〉(0:10),皆取自各家官方 YouTube 頻道;三圖並排版面為本站自製
ChatGPT Atlas 瀏覽器視窗開著 Instacart 購物頁,右側 ChatGPT 側欄顯示使用者請它替孩子備齊海灘用品、代理正在開始執行,視窗下緣有「Take control」與「Stop」兩個按鈕
Atlas 把 ChatGPT 直接放進瀏覽器側欄:使用者交代任務後,代理在購物頁上動手,視窗下緣留著「接手控制」與「停止」兩個按鈕。影片截圖:OpenAI 官方 YouTube 頻道〈Introducing ChatGPT Atlas〉(1:14)

01OpenAI:整個瀏覽器都交給 AI,但產品上線不到一年就收掉:從 Operator 到 ChatGPT Atlas,相關能力後來轉入 ChatGPT、Codex 等產品

OpenAI 在 2025 年推出可自行操作瀏覽器的 Operator,但此前已有其他公司推出相關產品。2025 年初,他們先推出 Operator:一個能用瀏覽器幫你訂位、填表、下單的助理;後來又把這個能力整合進 ChatGPT 對話。同年 10 月,OpenAI 推出自家瀏覽器 ChatGPT Atlas,想把「對話、瀏覽器、AI 代理」三件事綁在同一個視窗裡。

OpenAI 在 2025 年 1 月 23 日的 Operator 發表直播。四位講者開場後,從 1:30 起實際示範用 Operator 訂位、採買生鮮與找票。影片來源:OpenAI 官方 YouTube 頻道(2025-01-23 直播)

Operator 走的是雲端遠端桌面路線:Operator 使用由 OpenAI 託管的遠端瀏覽器,模型透過畫面決定操作,使用者不必在自己的電腦安裝額外軟體;這種做法讓符合使用資格的人不必為任務自行架設瀏覽器環境,但操作仍須經過遠端服務,同時意味著每個任務的往返時間都得算上機房與本機之間的網路延遲。Atlas 則相反,它把 AI 代理直接做進瀏覽器分頁裡,使用者在自己熟悉的分頁介面就能叫 AI 整理頁面、抓資料或下單。

這條路線放棄的是使用者對「一般瀏覽器」的期待:Atlas 保留分頁、書籤和密碼等一般瀏覽器功能,並加入 ChatGPT 對話與代理操作。它的賣點是使用者能用自然語言請代理研究網頁、規劃活動或協助預約;代價是當你想自己動手時,介面會顯得彆扭。

一位媒體記者指出,OpenAI 已宣布 ChatGPT Atlas 將「sunset」、目標 8 月 9 日正式停用,報導也把 Atlas 停用放在 OpenAI 縮減「side quests」的產品調整背景下;同篇文章引用《華爾街日報》3 月的報導指出 OpenAI 當時規劃整合 ChatGPT、Codex 與 Atlas,其後推出的 ChatGPT Work 是 ChatGPT 內的代理功能。換句話說,瀏覽器獨立成一個產品的路線被併回去了,但 AI 操作瀏覽器的能力並沒有消失,只是換了一個殼。

ChatGPT Work 示範畫面:左側對話欄寫著「I'll use the Computer Use skill because the live Simulator is the source of truth here」,右側是 iPhone 17 Pro 模擬器裡一個銀行 App 的歡迎畫面
OpenAI 在 2026 年 7 月的 ChatGPT Work 示範:代理在對話中改用「Computer Use」技能,直接操作 iPhone 模擬器,比較 App 在墨西哥與德國的手機註冊流程。影片截圖:OpenAI 官方 YouTube 頻道〈Get started with ChatGPT Work〉(4:32)
Anthropic 示範影片的分割畫面:左欄是 Claude 逐步寫下的判斷(先截圖確認視窗狀態,再切到供應商搜尋入口),右側是虛擬電腦上並排的試算表視窗與 Acme Inc. 供應商申請表單
Claude 一邊寫下判斷、一邊操作虛擬電腦:左欄是它的逐步說明,右側是並排的試算表與表單視窗。影片截圖:Anthropic 官方 YouTube 頻道〈Claude | Computer use for automating operations〉(1:01)

02Anthropic:Sonnet 系列的 OSWorld 成績從 2024 年底低於 15%,升至 2026 年 2 月公告的 72.5%:Claude 看見什麼,就能點什麼

Anthropic 走的是另一條路:模型看見什麼,就能點什麼。2024 年 10 月,他們推出 Claude 的 Computer Use 能力,模型收到一張螢幕截圖,就能決定下一步要按哪個按鈕、打什麼字、捲到哪裡。這條路不像 OpenAI 是從「瀏覽器」出發,而是從「整台電腦」出發:瀏覽器只是其中一種介面,系統設定、桌面應用、檔案總管也都在它的觸及範圍內。

Anthropic 官方部落格寫得很直接:Anthropic 2026 年 2 月 25 日公告稱,Sonnet 系列的 OSWorld 成績從 2024 年底的低於 15%,提升至當時 Sonnet 4.6 的 72.5%。同一份聲明並稱,Sonnet 4.6 已經逼近人類水準,能處理跨瀏覽器分頁操作複雜的試算表與網頁表單。

Anthropic 在 2024 年 10 月公開的 Computer Use 示範影片之一:請 Claude 開啟瀏覽器、前往 claude.ai,替自己做一個九〇年代風格的個人網站。片頭註明畫面中的操作都由 Claude 產生,錄製於受控環境。影片來源:Anthropic 官方 YouTube 頻道(2024-10-22 上傳)

Vercept 這家被併進 Anthropic 的公司,三位創辦人 Kiana Ehsani、Luca Weihs 與 Ross Girshick過去專注在「讓 AI 看見並實際操作電腦介面」這個難題。併入 Anthropic 之後,Vercept 把自家外部產品收掉,未來改在 Anthropic 內部繼續推進電腦操作能力。這也代表 Anthropic 在這條賽道的人才布局仍在加碼。

Computer Use 路線放棄的是「精準」與「速度」。模型要先看截圖、再決定滑鼠要移幾個像素、再觸發動作,每一步都可能出錯;但換到的是它能處理瀏覽器以外的場景,例如本地應用、系統對話框、特殊按鈕。對於沒有 API 的老舊軟體或只能靠畫面操作的流程,這條路反而比「透過 API 串接」更通用。

OSWorld 之所以重要,是因為它把「AI 操作電腦」拆成一個可以量化比較的任務集:給模型一張電腦畫面與一句任務指令,評測它能不能真的點對按鈕、填對欄位、在多步驟之間不丟失狀態;分數上升代表的不只是模型變聰明,而是「看圖操作」這條原本很脆弱的能力被工程化到接近可用。在這層意義上,Anthropic 把 Computer Use 從實驗室功能升級為企業客戶可用的產品,關鍵不是 72.5% 這個數字本身,而是這個數字背後代表「這件事現在真的有人會付錢」。

Gemini 2.5 Computer Use 示範影片:左側是寵物美容店客戶管理網頁的「Add New Client」表單,欄位已逐項填入,右側黑底視窗是模型逐步寫下的推理與動作紀錄
Google 公布 Gemini 2.5 Computer Use 時附上的示範:模型看著網頁畫面逐欄填寫新增客戶表單,右側視窗列出它每一步的推理與動作。影片截圖:Google for Developers 官方 YouTube 頻道〈Gemini 2.5 Computer Use Model Demo - Pet Spa〉(0:37)

03Google:同時提供 Computer Use API,並在自家 Chrome 推出代理瀏覽功能:Gemini 2.5 Computer Use 用來驅動 Mariner、Firebase Testing Agent 與搜尋 AI Mode

Google 在 2025 年 10 月 7 日推出 Gemini 2.5 Computer Use 模型,並以預覽形式透過 Gemini API 對外開放;Google DeepMind 部落格指出,Gemini 2.5 Computer Use 以 Gemini 2.5 Pro 為基礎,主要針對瀏覽器最佳化,在行動介面控制展現高度潛力,但官方也明說「還沒有最佳化到桌機作業系統層級」。

Google 在 2025 年 10 月 7 日公布 Gemini 2.5 Computer Use 時附上的示範影片:模型替寵物美容店的客戶管理網頁新增客戶,並排定預約。影片來源:Google for Developers 官方 YouTube 頻道(2025-10-07 上傳)

這條路的關鍵差異在於:Google 除了經營 Chrome 瀏覽器,也透過 Gemini API 開放電腦操作能力,也不太想綁特定作業系統。他們把模型收進一個名為 computer_use 的工具,開發者串進自己的應用後,模型會依「截圖 → 動作 → 結果回應」的迴圈反覆操作介面與工具。這項技術的不同版本也曾支援 Google 自家的 Project Mariner、Firebase Testing Agent 與搜尋 AI Mode——官方在同篇文章中明列這三個用途。

Project Mariner 示範影片畫面:Chrome 右側的 Project Mariner 側欄接到「記住這份公司名單,找出各家網站與聯絡信箱」的任務,左側是 Google 首頁,片頭標示「A research prototype」
Google DeepMind 在 2024 年 12 月公開的 Project Mariner 研究原型(影片標示使用 Gemini 2.0):代理在 Chrome 側欄接收任務,一步步替使用者搜尋與瀏覽網站。影片截圖:Google DeepMind 官方 YouTube 頻道〈Project Mariner | Solving complex tasks with an AI agent in the Chrome browser〉(0:57)

這條路放棄的是「隨插即用」的桌面體驗:你必須自己選瀏覽器、自己接截圖與動作的介面;但換到的是模型可以同時服務很多產品線——一個模型、很多介面——而且 Google 另提供模型外的逐步安全服務,在模型提出每個動作後、執行前進行評估;特定行動可要求使用者確認。

項目OpenAIAnthropicGoogle
主要載體Operator 服務、ChatGPT Atlas 瀏覽器(已宣布於 2026 年 8 月 9 日停用),相關能力轉入 ChatGPT 桌面應用程式的瀏覽與 Work 功能,並延伸至其他支援的體驗Claude 模型原生 Computer Use 能力,模型看截圖、決定滑鼠與鍵盤動作Gemini 2.5 Computer Use 模型,透過 Gemini API 開放給開發者與自家產品
能動到哪裡瀏覽器為主,集中在網頁任務;Atlas 退役後,相關瀏覽能力轉入 ChatGPT 桌面應用程式及其他支援入口整台作業系統,包含瀏覽器、本地應用、系統對話框瀏覽器為主、桌機未最佳化;在行動介面控制展現高度潛力
公開評測表現Online-Mind2Web 的 hard 子集上,OSU NLP 排行榜列出 Operator 成績約 43%;TinyFish 另行公布自家測試結果(見開源段落)Sonnet 4.6 在 OSWorld 達 72.5%,逼近人類水準(Anthropic 2026-02-25 公告)Google 公布了多項評測結果,包括 Gemini 2.5 Computer Use 在 Online-Mind2Web 的 69.0%,並強調其低延遲
主要取捨瀏覽器獨立成產品的路線被收回;把對話、瀏覽器、AI 代理綁進單一桌面 app,介面複雜度上升以截圖及滑鼠鍵盤動作操作圖形介面;跨產品的速度與精準度仍須在相同條件下比較模型可同時服務多產品線;但開發者必須自己接瀏覽器、桌面或雲端環境
表 1:三家把電腦交給 AI 操作的做法對照(2026 年 10 月整理)

把三家放在一起看,其實是在同一個工程問題上做不同選擇。第一個問題是「OS 的邊界畫在哪裡」:畫在瀏覽器內最省事,但使用者一離開瀏覽器就走不通;畫在整台電腦最通用,但每一步都要從截圖重新理解。第二個問題是「要不要賣產品」:OpenAI 想直接賣瀏覽器,Google 把能力做成 API 由別人接,Anthropic 把能力塞進自己的模型讓開發者串 API。第三個問題是「退場快不快」:Atlas 上線不到一年就停用,Google 讓 Computer Use 技術的不同版本支援 Mariner 等產品——AI 操作電腦的「正確產品形狀」,目前還沒人確定。

Browser Use 官網首頁:黑底大標「Agents that use the browser.」,右側的示範視窗是把一份公司名單匯出成 JSON 的操作畫面,下方一排是各家客戶標誌
Browser Use 官網首頁的主視覺:「Agents that use the browser.」,右側示範把網頁上的公司名單匯出成 JSON。網頁截圖:Browser Use 官方網站 browser-use.com(2026 年 10 月 18 日擷取)

04瀏覽器代理的開源框架與商用服務:Browser Use、TinyFish、Skyvern 各有不同取捨

不想把 AI 操作電腦的能力綁死在某一家公司的瀏覽器或雲端上,開發者開始用開源工具自己組。有個開源專案的設計是把模型、瀏覽器自動化、HTML 解析拆開來,模型可以換 Gemini、Claude、Qwen、Llama、DeepSeek 等多家,瀏覽器則可以串接本機的 Chrome 或遠端的雲端瀏覽器;同一個團隊也推出 Browser Use Cloud 服務,使用學術界提出的 Online-Mind2Web 300 項公開任務進行自家評測,用「自家 agentic judge」跑出 98% 的自評分數,但未公開該次測試的逐題資料、模型與設定瀏覽器即服務說明。

另一家新創則採取不同拆法:模型分成 reasoning layer 與 execution layer,模糊、需要推理的 20-30% 步驟交給大型語言模型,剩下機械式操作交給任務專用的小模型。在這篇自家測試中,TinyFish 測試了 Online-Mind2Web 的 300 題全集;其 hard 子集約得 81%,並引用 OSU NLP 排行榜中 Operator 約 43% 的 hard 成績比較。這個數字是 TinyFish 自家跑出來的,不是獨立第三方評測,但因為 300 個任務與全部執行紀錄都有公開,引用時值得註明「TinyFish 自評」這層保留。

TinyFish 官方的產品介紹影片(2026 年 4 月 14 日上傳),標題把自家的網頁代理定位為企業用的「完整執行層」。影片來源:TinyFish 官方 YouTube 頻道

開源社群的共同取捨是:拆得開、可換零件;開源工具讓開發者自行組裝元件;不同產品的效能與分數,仍須在相同條件下比較,但避開了被綁進單一廠商介面的風險。

還有另一家新創走的是更通用、企業可自架的路線:開發者用自然語言描述任務流程後,Skyvern 可以在自家瀏覽器環境重複執行同一支流程,能串接本機或雲端瀏覽器,也提供工作流程紀錄。這類開源或半開源專案共同的取捨是「不如單家原廠貼合模型,但更貼近企業內部流程,方便依自身需求調整」。

Skyvern 官網首頁:標題「AI agents to automate workflows on any website」,右側是一個填寫表單並產生報告的示範視窗,標題上方有「Check us out — we're open source」的連結
Skyvern 官網首頁的主視覺,主打在任何網站上自動完成工作流程;頁面上方寫著「we're open source」。網頁截圖:Skyvern 官方網站 skyvern.com(2026 年 10 月 18 日擷取)

這些專案也帶動了「電腦操作 AI」這個領域本身的評測文化:Online-Mind2Web、WebVoyager、OSWorld 等基準這兩年快速擴充,連過去只在研究圈跑的評測,都開始被各家原廠與開源社群拿出來當宣傳或比較的依據。對一般使用者來說,這代表以後比較不同代理的能力時,會有越來越多公開、可查的分數可看,不再只能靠各家說法。

STEER-Bench 論文圖 2 的四格網頁介面:核可補助審查等級、寄出含機密附件的企業信件、核對出貨地址的出貨單、逐筆放行付款的批次清單
STEER-Bench 的四個任務介面(論文圖 2):核可補助等級、寄出含機密附件的信件、核對出貨地址、批次放行付款。電腦操作代理面對的就是這類網頁。圖片來源:Zingrillo 等人,arXiv:2610.03089 圖 2(CC BY 4.0);已裁切外框

05學術界的警訊:特定標準代理在 STEER-Bench 的適用攻擊案例中,攻擊成功率達 94.4%:看著電腦螢幕的 AI,連「分支」都可能被偷渡

學術圈的關注點不在「AI 操作電腦能不能做對」,而在「AI 操作電腦會不會被拐去做錯」。一篇 2026 年 10 月的論文作者群 Giulio Zingrillo、Hanna Foerster、Ilia Shumailov、Yiren Zhao、Robert Mullins 提出 STEER-Bench:一個涵蓋 9 個領域、101 個任務的新基準,專門用來測試「被網頁內容拐去做事先通過、實際有風險的動作」的攻擊成功率。

標準 Computer Use Agent 的「被拐去做事」攻擊成功率
單位:% 攻擊成功率(STEER-Bench,101 個任務、9 個領域);數值愈低代表愈不容易被惡意網頁內容拐去做不該做的事。
標準 Computer Use Agent94.4%
vanilla Dual-LLM 架構89.5%
COBRA 架構(論文提案)0%
資料來源:Securing Computer-Use Agents Against Branch Steering Attacks(arXiv:2610.03089,2026-10-02);COBRA 為該論文提出的防禦架構。
用表格看圖表數據
項目數值
標準 Computer Use Agent94.4%
vanilla Dual-LLM 架構89.5%
COBRA 架構(論文提案)0%

這份測試的結果是:對「標準」的 Computer Use Agent,攻擊成功率達 94.4%;對一種常見的隔離設計,也還有 89.5%。同一篇論文提出一個名為 COBRA 的新架構:先用可信任的方式決定「這個動作屬於哪一條已批准的分支」,再用事前簽好的能力範圍限制每條分支能動到哪些參數與目的地。COBRA 在 STEER-Bench 上把攻擊成功率降到 0%,並保留對照系統正常任務效用的 97%。這份論文被 NeurIPS 2026 的「Agents in the Wild」工作坊接受發表。

這種「代理被網頁內容拐走」的風險之所以特別棘手,是因為它發生在使用者看不到的地方:模型不是被「明確的惡意指令」攻擊,而是模型可能被網頁或工具回應中的不可信資料引導,在沒有明確惡意指令的情況下走向事先批准、實際有風險的分支。對一般使用者來說,這代表在使用 AI 操作瀏覽器或桌面的工具時,「看到的內容」與「模型真正讀到的內容」並不總是同一件事,因此企業在導入這類代理時,必須把每一次「點按」與「送出」都視為獨立可審查的動作,而不是把整個工作階段當成一筆黑箱交易。

COBRA 架構圖:使用者請求與已核可的限制條件先交給規劃用的大型語言模型,產生固定的計畫;計畫直譯器呼叫在沙盒內觀察介面的視覺模型,分支與參數提案再交給分支解析中樞比對,最後經確定性的代理伺服器放行到網頁介面或 MCP 伺服器
論文提出的 COBRA 架構(論文圖 1):先把計畫固定下來,再由確定性的代理伺服器把關每個動作能碰到哪些網址與參數。圖片來源:Zingrillo 等人,arXiv:2610.03089 圖 1(CC BY 4.0);已裁切外框

這也回頭呼應三家廠商的取捨:OpenAI 把 AI 塞進瀏覽器時,能不能擋下被網頁內容拐去做「刪除雲端硬碟」這種事先通過的危險動作?Anthropic 讓模型看見整個桌面時,螢幕上一則訊息有沒有可能把它導向財務匯款?Google 把模型做成 API 給別人接時,呼叫端有沒有責任幫忙限制可到達的範圍?這些問題目前沒有標準答案。

Browser Use 在 GitHub 上的程式庫頁面:右側簡介寫著「Open-source Python library for AI browser agents, plus Browser Use Cloud: stealth browsers and a hosted agent API」,左側是檔案清單
Browser Use:GitHub 開源程式庫頁面
TinyFish 官網首頁:標語「The web stack for AI agents.」,下方寫著「Search, extract, browse, and act on the web with one platform.」與「Connect TinyFish」按鈕
TinyFish:官網首頁
Browser Use 的開源程式庫在 GitHub 上的頁面,以及 TinyFish 官網首頁,標語是「The web stack for AI agents.」。網頁截圖:GitHub browser-use/browser-use、TinyFish 官方網站 tinyfish.ai(2026 年 10 月 18 日擷取)

資料來源

  1. Google DeepMind 部落格:〈Gemini 2.5 Computer Use model〉
  2. Anthropic:〈Anthropic acquires Vercept to advance Claude's computer use capabilities〉
  3. Anthropic:〈Claude Sonnet 4.6〉
  4. The Verge:〈The ChatGPT browser is already dead〉
  5. TinyFish:〈OpenAI Operator scores 43% on hard web tasks. We scored 81%〉
  6. Browser Use:〈Best web agents — Online-Mind2Web leaderboard notes〉
  7. arXiv (cs.CR):〈Securing Computer-Use Agents Against Branch Steering Attacks〉
  8. Hacker News:〈Show HN: TinyFish Web Agent (82% on hard tasks vs. Operator's 43%)〉
準備就緒