UI-TARS-Desktop 实测：字节开源的桌面 AI Agent，38k Stars，自然言語でパソコンを制御
AIがもはや「ダイアログボックスで質問に答えること」に満足しなくなったとき、それはあなたのマウスに手を伸ばし始めます。ByteDanceのUI-TARS-Desktopはまさにそのようなプロジェクトです——テキストを生成するのではなく、直接画面を操作します。
一行要約
UI-TARS-Desktopは、ByteDanceのSeedチームがオープンソース化したマルチモーダルデスクトップAIエージェントスイート（GitHub 38k+ Stars、Apache 2.0ライセンス）で、2つのコアプロダクトを含みます：Agent TARS（汎用マルチモーダルエージェント、CLI + Web UI）とUI-TARS Desktop（UI-TARSビジョンモデルベースのローカルデスクトップGUIエージェント）。自然言語でAIに画面を見させ、マウスを動かさせ、キーボードを入力させ、人間のようにデスクトップタスクを完了させます。
ChatGPTが「口」で、DeerFlowが「脳」なら、UI-TARS-Desktopは「手」です——AIが初めて真にOSに手を伸ばしたのです。
デスクトップAIエージェントとは？
| タイプ | 代表製品 | 相互作用レイヤー | 能力境界 |
|---|---|---|---|
| チャットボット | ChatGPT、Claude | ダイアログ | テキスト/コード生成のみ |
| ブラウザエージェント | Page-Agent、Browser Use | Web DOM | ブラウザ内のウェブページのみ操作 |
| デスクトップAIエージェント | UI-TARS-Desktop、Computer Use | 画面全体 | 任意のGUIアプリを操作 |
UI-TARS-Desktop vs DeerFlow vs Page-Agent
| 次元 | UI-TARS-Desktop | DeerFlow | Page-Agent |
|---|---|---|---|
| 開発元 | ByteDance Seed | ByteDance | Alibaba |
| コア能力 | デスクトップGUI制御 | 自律的研究と作業 | Web DOM制御 |
| 相互作用レイヤー | スクリーンショット + マウス/キーボード | サブエージェント + サンドボックス | ブラウザDOMツリー |
| GPU必須 | ローカルモデル必須、クラウド不要 | モデル選択による | 不要 |
| Stars | 38k+ | 50k+ | 18k+ |
ローカルデプロイ実践
方法1：Agent TARS CLI
npx @agent-tars/cli@latest
agent-tars --provider anthropic \
--model claude-3-7-sonnet-latest \
--apiKey your-api-key方法2：UI-TARS Desktop アプリ
macOS（Homebrew）：
brew install --cask ui-tars設定：
VLM Provider: VolcEngine Ark for Doubao-1.5-UI-TARS
VLM Base URL: https://ark.cn-beijing.volces.com/api/v3
VLM API KEY: 火山引擎APIキー
VLM Model Name: doubao-1.5-ui-tars-250328よくある質問（FAQ）
Q1：UI-TARS-Desktop と Agent TARS の関係は？ A：同じリポジトリ内の2つのプロジェクト。Agent TARS は複数LLM対応の汎用エージェント、UI-TARS Desktop はUI-TARS視覚モデルベースのデスクトップアプリ。
Q2：GPUなしで使用できますか？ A：はい。火山引擎のクラウドAPIまたはClaude/GPT-4oを使用すればGPU不要。ローカルモデルのみGPU必要。
Q3：日本語コマンドに対応していますか？ A：UI-TARSモデルとDoubao-1.5-UI-TARSは中国語と英語をネイティブサポート。日本語はモデルにより精度が異なります。
Q4：Anthropic Computer Use との違いは？ A：Anthropic Computer Use はClaude API必須で非オープンソース。UI-TARS-Desktop は完全にオープンソース（Apache 2.0）でローカルデプロイ可能。
Q5：マルチモニター環境で使用できますか？ A：現在非推奨。UI-TARS Desktop はシングルモニターのみサポート。
関連リンク：
