UI-TARS 是什么?3.96 万星的字节 GUI Agent 栈,10 月刚补上一轮安全课(基础篇)

UI-TARS 是什么?3.96 万星的字节 GUI Agent 栈,10 月刚补上一轮安全课(基础篇)

会聊天的大模型一抓一把,能自己看屏幕、挪鼠标、把软件里的活干完的,没几个。字节这套 UI-TARS,是这条路上开源得最完整的一份答案:模型、桌面应用、Agent 框架都塞进一个仓库,GitHub 39,571 星(11 月读数),Apache-2.0。但它不是下载即用的成品,10 月 8 日的 v0.3.1 主体是一轮安全补丁。

三个名字,先捋清

UI-TARS 这个名字在三个地方出现,第一次看很容易懵:

  • UI-TARS 模型:视觉语言模型,干的是「看截图、指出该点哪」。开源权重停在 1.5-7B,Hugging Face 上累计下载 10.5 万次。
  • UI-TARS Desktop:Electron 桌面应用,接上模型就能操作本地电脑或浏览器;有 Windows、macOS 安装包,没有官方 Linux 版。
  • Agent TARS:给开发者的 CLI 和 Web UI,MCP 内核,能挂 MCP 工具,浏览器支持 GUI、DOM、混合三种控制模式。

三样东西共用一个仓库,所以 39.6K 星是「全家桶」的总数,不是某个模型的。桌面端干活的循环很朴素:截屏,模型识别控件坐标,鼠标键盘执行,再截屏确认。UI-TARS 的卖点是把这条循环做成原生模型,而不是拿 DOM 选择器硬套,所以 Canvas、远程桌面、客户端软件里也能点。

模型这边,最新的 UI-TARS-2 在 2025 年 9 月发布,OSWorld 47.5 分,压过 Claude-4-Sonnet 的 43.9 和 OpenAI CUA-o3 的 42.9;WindowsAgentArena 50.6、AndroidWorld 73.3、Online-Mind2Web 88.2,账面数据都好看。代价是权重没开源,能下载的只有上一代 1.5-7B,第三方想复现只能自己找路。

UI-TARS 三层架构:模型、桌面端与 Agent TARS 框架
UI-TARS 的三层:模型、桌面端、Agent 框架,以及两条上手入口

上手:两条路

最快的是 CLI。Node 22 以上,npx @agent-tars/cli@latest 起一个本地 Web UI,带 --provider 和 --apiKey 就能跑;官方示例给的是火山方舟的 doubao-1-5-thinking-vision-pro 和 Anthropic 的 Claude。

桌面端是另一条路:GitHub Releases 下 .dmg 或 .exe,设置里填 VLM Provider。两条常见接法,一是把 Hugging Face 上的 UI-TARS-1.5-7B 部署成 endpoint,Base URL 记得以 /v1/ 结尾;二是直接接火山方舟的 Doubao-1.5-UI-TARS。想本地跑 7B,bf16 权重约 16GB,24GB 显存的卡比较稳;没卡就先用方舟按 token 付费,把流程跑通再说。macOS 要手动给辅助功能和屏幕录制权限,否则它既看不见也点不动。

远程访问有个新坑:v0.3.1 起 CLI server 默认只监听 127.0.0.1,想从别的机器连,得加 --host,同时配 TARKO_AUTH_TOKEN、TARKO_ALLOWED_HOSTS、TARKO_ALLOWED_ORIGINS,Host 或 Origin 不在白名单里,直接 403。

另外,官方只发 Windows 和 macOS 包,没有 Linux 版。想在 A7Z、树莓派这类 ARM 盒子上开箱即用,基本没戏;那是给带图形桌面的机器准备的工具。

实话

第一,免费的远程操控没了。2025 年 8 月 20 日 Remote Operator 停服,v0.2.4 的更新说明已经把入口指向火山引擎 OS Agent Services,现在是商业服务。今天还能白嫖的只有本地 operator,模型和 API 的钱自己出。

第二,节奏慢。v0.3.0 到 v0.3.1 隔了 11 个月,补的是请求体注入、DNS rebinding、CSRF、iframe 逃逸这些安全问题;模型仓库最后一次推送停在 2026 年 1 月。npm 上 @agent-tars/cli 上周下载 314 次,生态不大,别指望社区帮你填坑。

第三,它不是生产级 RPA。没有 SLA,长流程、验证码、多显示器都可能翻车。适合两类人:想搞懂 GUI Agent 怎么工程化的开发者,和做内部自动化原型的团队。要开箱即用的业务同学,去看 Browser Use 或 Skyvern 这种只盯浏览器的方案,链路更短,坑也少一些。

和 OpenHands、Agent Zero 那种「给 Agent 一台 Linux」的路子也不一样:UI-TARS 的重心是像人一样操作现成软件,不是给你一台云开发机。两条路线不冲突,选哪个,看你要自动化的是网页后台,还是装在 Windows 里的那套老客户端。

一句话:UI-TARS 的价值不在「替你上班」,而在把 GUI Agent 的模型、运行时、工具协议摊开给你看。3.96 万星证明这套参考实现值得读,但它终究是脚手架,不是托管服务。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注