UI-TARS-Desktop 리뷰: ByteDance의 오픈소스 데스크톱 AI Agent, 38k Stars

AI가 더 이상 “대화 상자에서 질문에 답하는 것”에 만족하지 않을 때, 그것은 당신의 마우스를 향해 손을 뻗기 시작합니다. ByteDance의 UI-TARS-Desktop은 바로 그런 프로젝트입니다 — 텍스트를 생성하는 것이 아니라, 직접 화면을 조작합니다.

한 줄 요약

UI-TARS-Desktop은 ByteDance Seed 팀이 오픈소스로 공개한 멀티모달 데스크톱 AI Agent 스위트(GitHub 38k+ Stars, Apache 2.0 라이선스)로, 두 가지 핵심 제품을 포함합니다: Agent TARS(범용 멀티모달 Agent, CLI + Web UI)와 UI-TARS Desktop(UI-TARS 비전 모델 기반 로컬 데스크톱 GUI Agent). 자연어로 AI에게 화면을 보고, 마우스를 움직이고, 키보드를 입력하도록 지시하여 사람처럼 데스크톱 작업을 완료합니다.

ChatGPT가 “입”이고 DeerFlow가 “뇌”라면, UI-TARS-Desktop은 “손”입니다 — AI가 처음으로 진정으로 운영 체제에 손을 뻗은 것입니다.

데스크톱 AI Agent란?

유형	대표 제품	상호작용 계층	능력 경계
챗봇	ChatGPT, Claude	대화 상자	텍스트/코드만 생성
브라우저 Agent	Page-Agent, Browser Use	웹 DOM	브라우저 내 웹페이지만 조작
데스크톱 AI Agent	UI-TARS-Desktop, Computer Use	전체 화면	모든 GUI 앱 조작 가능

UI-TARS-Desktop vs DeerFlow vs Page-Agent

차원	UI-TARS-Desktop	DeerFlow	Page-Agent
제작사	ByteDance Seed	ByteDance	Alibaba
핵심 능력	데스크톱 GUI 제어	자율 연구 및 작업	웹 DOM 제어
상호작용 계층	스크린샷 + 마우스/키보드	서브 Agent + 샌드박스	브라우저 DOM 트리
GPU 필요	로컬 모델 필요, 클라우드 불필요	모델 선택에 따라	불필요
Stars	38k+	50k+	18k+

로컬 배포 실전

방법 1: Agent TARS CLI

npx @agent-tars/cli@latest

agent-tars --provider anthropic \
  --model claude-3-7-sonnet-latest \
  --apiKey your-api-key

방법 2: UI-TARS Desktop 앱

macOS (Homebrew):

brew install --cask ui-tars

설정:

VLM Provider: VolcEngine Ark for Doubao-1.5-UI-TARS
VLM Base URL: https://ark.cn-beijing.volces.com/api/v3
VLM API KEY: 볼케이진 API 키
VLM Model Name: doubao-1.5-ui-tars-250328

자주 묻는 질문 (FAQ)

Q1: UI-TARS-Desktop과 Agent TARS의 관계는? A: 같은 저장소의 두 프로젝트. Agent TARS는 다양한 LLM을 지원하는 범용 멀티모달 Agent이고, UI-TARS Desktop는 UI-TARS 비전 모델 기반의 데스크톱 애플리케이션입니다.

Q2: GPU 없이 사용할 수 있나요? A: 네. VolcEngine 클라우드 API 또는 Claude/GPT-4o를 사용하면 GPU가 필요 없습니다. 로컬 모델만 GPU가 필요합니다.

Q3: 한국어 명령어를 지원하나요? A: UI-TARS 모델과 Doubao-1.5-UI-TARS는 중국어와 영어를 네이티브로 지원합니다. 한국어는 모델에 따라 정확도가 다를 수 있습니다.

Q4: Anthropic Computer Use와의 차이점은? A: Anthropic Computer Use는 Claude API를 필수로 호출해야 하며 오픈소스가 아닙니다; UI-TARS-Desktop은 완전한 오픈소스(Apache 2.0)이며 로컬 배포가 가능합니다.

Q5: 멀티 모니터 환경에서 사용할 수 있나요? A: 현재 권장하지 않습니다. UI-TARS Desktop은 단일 모니터 설정만 지원합니다.