手机上的 Agent,这两年听得最多的是「云手机」:模型在云端跑,你只能隔着窗口看。智谱去年 12 月换了个玩法,把手机 Agent 整套开源了:代码 Apache-2.0,模型权重 MIT,仓库叫 Open-AutoGLM,到今天 26,609 星、4,064 个 fork。
它的目标写在 README 第一行:Unlocking the AI Phone for Everyone。翻译过来就是,你抽屉里那台旧安卓机,插根数据线,也能自己打开美团、搜店、下单。
一、Open-AutoGLM 到底是什么
它不是 App,是两层东西:
- Agent 代码,跑在你的电脑上:接收指令、调模型、解析动作、通过 ADB(鸿蒙是 HDC)控制手机;
- 视觉模型服务:AutoGLM-Phone-9B,9B 参数,负责看截图、理解界面、给出下一步动作。
工作循环一句话说完:截图 → 模型看懂屏幕 → 输出点击坐标或输入文本 → ADB 执行 → 再截图。一轮接一轮,直到任务完成。
这跟浏览器 Agent 不是一路。Browser Use 那类工具读的是页面 DOM,速度快、精度高,但换个 App 就得重写;Open-AutoGLM 不看源码,只「看」屏幕,界面在它眼里就是一页图。代价是每步都要一次视觉推理,好处是安卓和鸿蒙上的 App 一视同仁,官方说覆盖 50+ 款安卓应用、60+ 款鸿蒙应用。
这条路智谱走了不短:2024 年 10 月第一版能在真机上跑完整操作链,11 月让 AI 自己点着银行界面发了个红包。开源的是这两年多攒下来的结果,不是一个临时 Demo。
动作集只有十种:Launch、Tap、Type、Swipe、Back、Home、Long Press、Double Tap、Wait、Take_over。最后那个是关键:碰到登录、验证码,它不猜密码,直接停下来把手机交还给你。再加敏感操作确认,这套设计算是承认了「让 AI 拿你手机乱点」是有风险的。
二、上手:一台旧手机、一根线、三步
手机端:Android 7.0 以上,开开发者模式和 USB 调试,装 ADB Keyboard(不然中文打不进去);鸿蒙 NEXT 用 HDC;iPhone 走 WebDriverAgent,仓库里带 ios.py 和专门文档。
电脑端:Python 3.10+,克隆仓库后 pip install -r requirements.txt 再 pip install -e .,adb devices 能看到设备就算通了。
模型:两条路。省事的一条是智谱 BigModel 的 autoglm-phone 接口,目前限时免费,--base-url https://open.bigmodel.cn/api/paas/v4 直接跑;想自己掌控,就用 vLLM 或 SGLang 拉 zai-org/AutoGLM-Phone-9B,权重约 20GB,按 README 给的启动参数跑在 8000 端口。模型结构同 GLM-4.1V-9B-Thinking,官方托管接口上下文 20K。
然后就是一句:
python main.py --base-url ... --model autoglm-phone --apikey ... "打开美团搜索附近的火锅店"
也能当库用,PhoneAgent 加 ModelConfig 塞进自己的脚本;不想写 Python 还能走 Midscene.js,它已经适配 AutoGLM 模型,用 JS 或 YAML 描述流程,iOS 和安卓都能跑;在外面还能 WiFi ADB 连家里那台手机,远程让它干活。对拿旧手机做实验的人,这套比云手机实在:设备是你的,数据路径你说了算。
三、实话
先把丑话说前面,这项目是 alpha,不是成品:
- setup.py 里明写 Development Status 3 – Alpha,README 限定「仅供研究和学习」;
- 最后一次提交停在 2026 年 3 月 6 日,到现在八个多月没动,0 个 release,279 个没关的 issue 和 PR;
- 模型只认中文,多语言版认英文,界面是别的语言别指望;
- 自建要 GPU,9B 权重 20GB,旧笔记本别想;用 API 就得把手机截图传上云,屏幕上有啥它就看啥,这点自己权衡;
- 智谱自己的产品线已经走到云手机(AutoGLM 2.0)和 AutoClaw,开源这摊更像研究底座,不像消费级产品。
所以它适合谁?手里有闲置安卓机、会用 ADB、想把手机自动化接进自己工作流的人。想开箱即用,装 AutoGLM App 就行;想弄明白「AI 怎么学会用手机」,这份代码是目前最完整的一份公开答案。
要看同类路线,之前写过直接接管真机的 Artemis,也聊过低配设备还能不能玩 Agent;自托管这块,arm64 那篇也值得翻。