UI-TARS-Desktop 評測:字節開源的桌面 AI Agent,38k Stars,自然語言控制你的電腦

UI-TARS-Desktop 評測:字節開源的桌面 AI Agent,38k Stars,自然語言控制你的電腦

UI-TARS-Desktop 評測:字節開源的桌面 AI Agent,38k Stars,自然語言控制你的電腦

當 AI 不再滿足於「對話框裡回答問題」,它開始伸手去碰你的滑鼠。字節跳動開源的 UI-TARS-Desktop 正是這樣一個項目——它不生成文字,而是直接操作你的螢幕。

一句話總結

UI-TARS-Desktop 是字節跳動 Seed 團隊開源的多模態桌面 AI Agent 套件(GitHub 38k+ Stars,Apache 2.0 授權),包含兩個核心產品:Agent TARS(通用多模態 Agent,CLI + Web UI)和 UI-TARS Desktop(基於 UI-TARS 視覺模型的本地桌面 GUI Agent)。它用自然語言指揮 AI 看螢幕、動滑鼠、敲鍵盤,像真人一樣完成桌面任務。

如果說 ChatGPT 是「嘴」,DeerFlow 是「腦」,那麼 UI-TARS-Desktop 就是「手」——它讓 AI 第一次真正伸進了你的作業系統。

桌面 AI Agent 是什麼?

類型代表產品互動介面能力邊界
聊天機器人ChatGPT、Claude對話框只能生成文字/程式碼
瀏覽器 AgentPage-Agent、Browser Use網頁 DOM只能操作瀏覽器內的網頁
桌面 AI AgentUI-TARS-Desktop、Computer Use整個螢幕能操作任何 GUI 應用程式

UI-TARS-Desktop vs DeerFlow vs Page-Agent

維度UI-TARS-DesktopDeerFlowPage-Agent
出品方字節 Seed字節跳動阿里巴巴
核心能力控制桌面 GUI自主研究與工作控制網頁 DOM
互動層螢幕截圖 + 滑鼠鍵盤子 Agent + 沙箱執行瀏覽器 DOM 樹
是否需要 GPU本地模型需要,雲端不需要取決於模型選擇不需要
Stars38k+50k+18k+

本地部署實戰

方式一:Agent TARS CLI

npx @agent-tars/cli@latest

agent-tars --provider anthropic \
  --model claude-3-7-sonnet-latest \
  --apiKey your-api-key

方式二:UI-TARS Desktop 桌面應用

macOS(Homebrew):

brew install --cask ui-tars

設定:

VLM Provider: VolcEngine Ark for Doubao-1.5-UI-TARS
VLM Base URL: https://ark.cn-beijing.volces.com/api/v3
VLM API KEY: 火山引擎 API Key
VLM Model Name: doubao-1.5-ui-tars-250328

常見問題(FAQ)

Q1:UI-TARS-Desktop 和 Agent TARS 是什麼關係? A:同一個倉庫裡的兩個項目。Agent TARS 是通用多模態 Agent(CLI + Web UI),支援多種 LLM;UI-TARS Desktop 是基於 UI-TARS 視覺模型的桌面應用,專注於本地 GUI 操作。

Q2:沒有 GPU 能用嗎? A:可以。使用火山引擎的雲端 API,或 Agent TARS 接入 Claude/GPT-4o 等雲端模型,都不需要本地 GPU。只有本地部署 UI-TARS-1.5-7B 模型才需要 GPU。

Q3:支援繁體中文指令嗎? A:UI-TARS 模型和 Doubao-1.5-UI-TARS 原生支援簡體中文和英文。繁體中文指令可能可以識別,但準確度因模型而異。

Q4:和 Anthropic Computer Use 有什麼區別? A:Anthropic Computer Use 必須調用 Claude API,不开源;UI-TARS-Desktop 完全開源(Apache 2.0),有自己的視覺模型,可以本地部署。

Q5:可以在多螢幕環境下使用嗎? A:目前不建議。UI-TARS Desktop 僅支援單螢幕設定,多螢幕可能導致座標計算錯誤。


相關連結: