这两天 GitHub 热榜上有两个项目,方向正好相反:一个想把模型从云上拽回你自己的显卡,一个承认云还得用、只是把一堆 Agent 的钥匙串成一把。单看都不算新鲜,凑一起就有意思了——它们合起来,是一套「模型自由」的最小方案。
一、Strata:125B 塞进 32G 的机器
Strata 9 月 24 日建仓,一个月 30,279 星、3,224 fork,C++ 写的,MIT。它干的事一句话说完:把 Qwen3.8-Flash-Next 这个 125B 的模型,跑在普通 PC 上。
官方门槛是 32GB 内存加显存、80GB 硬盘。别被 125B 吓到,从 README 里 Coder 版「只保留一半专家」的写法看,这是 MoE 结构,每次只激活一部分参数,不然 32G 连权重都装不下。模型按压缩档位分发:32G 上 Gyro-S 或 Coder,48G 上 IQ3_XXS(47GB),64G 才轮到 IQ3_S(54.8GB,官方说这项在公开测试里追平满血)。
速度有实测表:RTX 5070 12GB 显存加 64GB 内存,IQ3_S 出字 53 tok/s、Q2_0 94 tok/s;换 16GB 的 RX 9070 XT,Q2_0 掉到 60 tok/s。这是短上下文的数,长文档读入官方标 1,620 tok/s,实际用起来会随上下文变长继续掉。
真正让它对 Agent 友好的不是模型,是接口:本地起服务后同时说 OpenAI 和 Anthropic 两套 API,Claude Code、Codex CLI、OpenCode 改个 baseURL 就能接;图片输入默认开,还带 MCP server,可以让 AI 自己装自己。无账号、无遥测。
二、magpie:一个 3425 端口的本地网关
magpie 比它还早一天建仓,19,339 星、1,457 fork,Go 写的,同样 MIT。它解决的是另一个脏活:每个 Agent 都有自己的配置文件、自己的 key、自己的 baseURL,你订的 Claude 套餐在 Claude Code 里能用,在 Codex 里就是废的。
magpie 在本机起一个网关 127.0.0.1:3425,同时听得懂 OpenAI Chat、OpenAI Responses、Anthropic Messages、Gemini 四套协议,还能互转,流式、tool call、reasoning 都保留。支持列表里塞了六十多个入口,Claude Code、Codex、Gemini CLI、OpenCode,连 Hermes Agent 都在。
更实用的是 routing group:把几个账号、几个模型打包成一个名字,额度用完自动换下一个。smart 策略挑「最快重置的那个」先用,避免浪费;一段对话会粘在同一个账号上,为的是不打断厂商的 prompt cache;组还能套组。再加上 profile 一键切全套配置、quota 一条命令看所有套餐余量,以及 TUI、Docker、Termux。
三、拼起来才是完整方案
把 Strata 当成一个 OpenAI 兼容的 provider 加进 magpie,链路就成立了:所有 Agent 只认 3425,网关决定这一枪打云端还是打本地。断网、敏感文件、或者单纯不想烧 token 的时候切本地;要质量和长上下文就切云端;云端额度耗尽,routing group 自己换号,Agent 那边连报错都看不到。
图里那条本机边界不是装饰:Strata 装的时候会问「谁可以连」,magpie 的网关和密钥也都在本机。这套东西的价值不在「省钱」两个字,而在于把模型从「绑在某个客户端里的服务」变回「一个可以替换的后端」。
四、实话
Strata 的 32GB 是硬门槛,轻薄本别想;12GB 显卡配 64GB 内存是比较舒服的组合,想跑 IQ3_S 得 64GB。它现在版本号 0.2.2,610 个 open issue,首次下载 40-70GB,Mac 上 32GB Mac mini 跑 Gyro-S 只有 9 tok/s,苹果不是它的主场。
magpie 的 1,446 个 open issue 说明迭代快,也说明毛边多;它会去读 Claude Code、Codex 的登录态和 Keychain 来发现订阅账号,介意的人记得在设置里关掉。还有一句不中听的:多账号轮换在部分厂商的条款里属于灰色地带,自己用和省钱是两回事。
如果你只有一个 Agent、一份官方订阅,magpie 是多余的;如果你只想聊天,Strata 也不如直接买 API 划算。这两个项目的目标用户很明确:手上同时养着两三个 Agent、又在乎数据出不出本机的人。
五、最后一公里
模型能力的差距在缩小,接入方式的差距在拉大。前两年大家比谁的模型强,现在比的是谁能在一个下午里把新模型接进现有工作流。Strata 和 magpie 一个管供给,一个管调度,加起来就是个人开发者能自己掌控的那一层。
之前写过的 context-mode 和 VoiceStudio 是同一个方向:把能力往本地搬。DeepSeek 把线上推理引擎开源(那篇)也是同一件事的另一面:引擎在优化,硬件门槛在降。这两个项目能不能活过明年不好说,但它们指出的那条路——模型可替换、调用权在自己手里——大概率会变成默认。