UI-TARS-Desktop Test: ByteDances quelloffener Desktop-KI-Agent mit 38k Stars

Wenn KI nicht mehr damit zufrieden ist, „Fragen in einem Dialogfeld zu beantworten”, beginnt sie, nach Ihrer Maus zu greifen. ByteDances UI-TARS-Desktop ist genau so ein Projekt — es generiert keinen Text, es bedient direkt Ihren Bildschirm.

Zusammenfassung in einem Satz

UI-TARS-Desktop ist eine multimodale Desktop-KI-Agent-Suite, die vom Seed-Team von ByteDance quelloffen veröffentlicht wurde (38k+ GitHub Stars, Apache 2.0-Lizenz). Sie enthält zwei Kernprodukte: Agent TARS (allgemeiner multimodaler Agent mit CLI + Web-UI) und UI-TARS Desktop (lokaler Desktop-GUI-Agent basierend auf dem UI-TARS-Vision-Modell). Es verwendet natürliche Sprache, um KI anzuweisen, den Bildschirm zu beobachten, die Maus zu bewegen und auf der Tastatur zu tippen — und erledigt Desktop-Aufgaben wie ein Mensch.

Wenn ChatGPT der „Mund” und DeerFlow das „Gehirn” ist, dann ist UI-TARS-Desktop die „Hand” — es ist das erste Mal, dass KI wirklich in Ihr Betriebssystem eingreift.

Was ist ein Desktop-KI-Agent?

Typ	Vertreter	Interaktionsschicht	Fähigkeitsgrenze
Chatbot	ChatGPT, Claude	Dialogfeld	Kann nur Text/Code generieren
Browser-Agent	Page-Agent, Browser Use	Web-DOM	Kann nur Webseiten im Browser bedienen
Desktop-KI-Agent	UI-TARS-Desktop, Computer Use	Gesamter Bildschirm	Kann jede GUI-Anwendung bedienen

UI-TARS-Desktop vs DeerFlow vs Page-Agent

Dimension	UI-TARS-Desktop	DeerFlow	Page-Agent
Entwickler	ByteDance Seed	ByteDance	Alibaba
Kernfähigkeit	Desktop-GUI steuern	Autonomes Forschen und Arbeiten	Web-DOM steuern
Interaktionsschicht	Screenshots + Maus/Tastatur	Sub-Agenten + Sandbox	Browser-DOM-Baum
GPU erforderlich	Lokales Modell ja, Cloud nein	Abhängig vom Modell	Nein
Stars	38k+	50k+	18k+

Lokale Bereitstellung

Methode 1: Agent TARS CLI

npx @agent-tars/cli@latest

agent-tars --provider anthropic \
  --model claude-3-7-sonnet-latest \
  --apiKey your-api-key

Methode 2: UI-TARS Desktop Anwendung

macOS (Homebrew):

brew install --cask ui-tars

Konfiguration:

VLM Provider: VolcEngine Ark for Doubao-1.5-UI-TARS
VLM Base URL: https://ark.cn-beijing.volces.com/api/v3
VLM API KEY: Ihr API-Schlüssel
VLM Model Name: doubao-1.5-ui-tars-250328

Häufige Fragen (FAQ)

F1: Was ist die Beziehung zwischen UI-TARS-Desktop und Agent TARS? A: Zwei Projekte im selben Repository. Agent TARS ist ein allgemeiner multimodaler Agent; UI-TARS Desktop ist eine Desktop-Anwendung basierend auf dem UI-TARS-Vision-Modell.

F2: Kann ich es ohne GPU verwenden? A: Ja. Verwenden Sie die VolcEngine Cloud API oder Agent TARS mit Claude/GPT-4o. Nur die lokale Bereitstellung von UI-TARS-1.5-7B erfordert GPU.

F3: Unterstützt es deutsche Anweisungen? A: Die Modelle unterstützen hauptsächlich Chinesisch und Englisch. Für andere Sprachen kann die Genauigkeit variieren.

F4: Was ist der Unterschied zu Anthropic Computer Use? A: Anthropic Computer Use muss die Claude API aufrufen und ist nicht quelloffen; UI-TARS-Desktop ist vollständig quelloffen (Apache 2.0) und kann lokal bereitgestellt werden.

F5: Kann ich es in einer Multi-Monitor-Umgebung verwenden? A: Derzeit nicht empfohlen. UI-TARS Desktop unterstützt nur Single-Monitor-Setups.