UI-TARS-Desktop 評測:字節開源的桌面 AI Agent,38k Stars,自然語言控制你的電腦
當 AI 不再滿足於「對話框裡回答問題」,它開始伸手去碰你的滑鼠。字節跳動開源的 UI-TARS-Desktop 正是這樣一個項目——它不生成文字,而是直接操作你的螢幕。
一句話總結
UI-TARS-Desktop 是字節跳動 Seed 團隊開源的多模態桌面 AI Agent 套件(GitHub 38k+ Stars,Apache 2.0 授權),包含兩個核心產品:Agent TARS(通用多模態 Agent,CLI + Web UI)和 UI-TARS Desktop(基於 UI-TARS 視覺模型的本地桌面 GUI Agent)。它用自然語言指揮 AI 看螢幕、動滑鼠、敲鍵盤,像真人一樣完成桌面任務。
如果說 ChatGPT 是「嘴」,DeerFlow 是「腦」,那麼 UI-TARS-Desktop 就是「手」——它讓 AI 第一次真正伸進了你的作業系統。
桌面 AI Agent 是什麼?
| 類型 | 代表產品 | 互動介面 | 能力邊界 |
|---|---|---|---|
| 聊天機器人 | ChatGPT、Claude | 對話框 | 只能生成文字/程式碼 |
| 瀏覽器 Agent | Page-Agent、Browser Use | 網頁 DOM | 只能操作瀏覽器內的網頁 |
| 桌面 AI Agent | UI-TARS-Desktop、Computer Use | 整個螢幕 | 能操作任何 GUI 應用程式 |
UI-TARS-Desktop vs DeerFlow vs Page-Agent
| 維度 | UI-TARS-Desktop | DeerFlow | Page-Agent |
|---|---|---|---|
| 出品方 | 字節 Seed | 字節跳動 | 阿里巴巴 |
| 核心能力 | 控制桌面 GUI | 自主研究與工作 | 控制網頁 DOM |
| 互動層 | 螢幕截圖 + 滑鼠鍵盤 | 子 Agent + 沙箱執行 | 瀏覽器 DOM 樹 |
| 是否需要 GPU | 本地模型需要,雲端不需要 | 取決於模型選擇 | 不需要 |
| Stars | 38k+ | 50k+ | 18k+ |
本地部署實戰
方式一:Agent TARS CLI
npx @agent-tars/cli@latest
agent-tars --provider anthropic \
--model claude-3-7-sonnet-latest \
--apiKey your-api-key
方式二:UI-TARS Desktop 桌面應用
macOS(Homebrew):
brew install --cask ui-tars
設定:
VLM Provider: VolcEngine Ark for Doubao-1.5-UI-TARS
VLM Base URL: https://ark.cn-beijing.volces.com/api/v3
VLM API KEY: 火山引擎 API Key
VLM Model Name: doubao-1.5-ui-tars-250328
常見問題(FAQ)
Q1:UI-TARS-Desktop 和 Agent TARS 是什麼關係? A:同一個倉庫裡的兩個項目。Agent TARS 是通用多模態 Agent(CLI + Web UI),支援多種 LLM;UI-TARS Desktop 是基於 UI-TARS 視覺模型的桌面應用,專注於本地 GUI 操作。
Q2:沒有 GPU 能用嗎? A:可以。使用火山引擎的雲端 API,或 Agent TARS 接入 Claude/GPT-4o 等雲端模型,都不需要本地 GPU。只有本地部署 UI-TARS-1.5-7B 模型才需要 GPU。
Q3:支援繁體中文指令嗎? A:UI-TARS 模型和 Doubao-1.5-UI-TARS 原生支援簡體中文和英文。繁體中文指令可能可以識別,但準確度因模型而異。
Q4:和 Anthropic Computer Use 有什麼區別? A:Anthropic Computer Use 必須調用 Claude API,不开源;UI-TARS-Desktop 完全開源(Apache 2.0),有自己的視覺模型,可以本地部署。
Q5:可以在多螢幕環境下使用嗎? A:目前不建議。UI-TARS Desktop 僅支援單螢幕設定,多螢幕可能導致座標計算錯誤。
相關連結: