UI-TARS-Desktop Test : l’Agent IA de bureau open-source de ByteDance avec 38k Stars

Quand l’IA ne se contente plus de « répondre aux questions dans une boîte de dialogue », elle commence à tendre la main vers votre souris. UI-TARS-Desktop de ByteDance est exactement un tel projet — il ne génère pas de texte, il opère directement votre écran.

Résumé en une phrase

UI-TARS-Desktop est une suite d’agents IA de bureau multimodaux open-sourcée par l’équipe Seed de ByteDance (38k+ GitHub Stars, licence Apache 2.0), contenant deux produits principaux : Agent TARS (Agent multimodal général avec CLI + Web UI) et UI-TARS Desktop (Agent GUI de bureau local basé sur le modèle de vision UI-TARS). Il utilise le langage naturel pour diriger l’IA à regarder l’écran, bouger la souris et taper au clavier, accomplissant des tâches de bureau comme un humain.

Si ChatGPT est la « bouche » et DeerFlow le « cerveau », alors UI-TARS-Desktop est la « main » — c’est la première fois que l’IA atteint véritablement votre système d’exploitation.

Qu’est-ce qu’un Agent IA de bureau ?

Type	Représentant	Couche d’interaction	Limite de capacité
Chatbot	ChatGPT, Claude	Boîte de dialogue	Ne peut que générer du texte/code
Agent navigateur	Page-Agent, Browser Use	DOM Web	Ne peut qu’opérer les pages web
Agent IA de bureau	UI-TARS-Desktop, Computer Use	Écran entier	Peut opérer toute application GUI

UI-TARS-Desktop vs DeerFlow vs Page-Agent

Dimension	UI-TARS-Desktop	DeerFlow	Page-Agent
Créateur	ByteDance Seed	ByteDance	Alibaba
Capacité principale	Contrôler le GUI de bureau	Recherche et travail autonomes	Contrôler le DOM web
Couche d’interaction	Captures d’écran + souris/clavier	Sous-agents + sandbox	Arbre DOM du navigateur
GPU requis	Modèle local oui, cloud non	Selon le modèle	Non
Stars	38k+	50k+	18k+

Déploiement local

Méthode 1 : Agent TARS CLI

npx @agent-tars/cli@latest

agent-tars --provider anthropic \
  --model claude-3-7-sonnet-latest \
  --apiKey your-api-key

Méthode 2 : Application UI-TARS Desktop

macOS (Homebrew) :

brew install --cask ui-tars

Configuration :

VLM Provider: VolcEngine Ark for Doubao-1.5-UI-TARS
VLM Base URL: https://ark.cn-beijing.volces.com/api/v3
VLM API KEY: Votre clé API Volcano Engine
VLM Model Name: doubao-1.5-ui-tars-250328

Questions fréquentes (FAQ)

Q1 : Quelle est la relation entre UI-TARS-Desktop et Agent TARS ? R : Deux projets dans le même dépôt. Agent TARS est un Agent multimodal général ; UI-TARS Desktop est une application de bureau basée sur le modèle de vision UI-TARS.

Q2 : Puis-je l’utiliser sans GPU ? R : Oui. Utilisez l’API cloud VolcEngine ou Agent TARS avec Claude/GPT-4o. Seul le modèle local nécessite un GPU.

Q3 : Supporte-t-il les instructions en français ? R : Les modèles UI-TARS et Doubao-1.5-UI-TARS supportent nativement le chinois et l’anglais. Le français peut fonctionner mais avec une précision variable.

Q4 : Quelle est la différence avec Anthropic Computer Use ? R : Anthropic Computer Use doit appeler l’API Claude et n’est pas open-source ; UI-TARS-Desktop est entièrement open-source (Apache 2.0) et peut être déployé localement.

Q5 : Puis-je l’utiliser dans un environnement multi-écrans ? R : Actuellement non recommandé. UI-TARS Desktop ne supporte que la configuration à écran unique.

Liens associés :