GitHub双响:2.1万星 Strata 把 1250 亿参数模型跑进游戏本,0.9万星 magpie 给 40 多个 Agent 装同一个模型入口
这两个仓库都是 9 月底才建的,到今天还不到三周,一个管「模型该放哪儿」,一个管「模型给谁用」。凑一起正好是一整套把模型攥回自己手里的方案,所以我把它们放一篇里说。
先放张图,两个项目在同一条链路上的位置一眼就清楚了:
一、Strata:1250 亿参数,装进你那台游戏本
Qwen3.8-Flash-Next 这种 125B 的模型,默认你是要有一张服务器卡才敢想的。Strata 干的事很直白:量化到能在 12GB 显存的普通机器上跑起来。Windows 双击 START-HERE.bat,Linux 跑 setup.sh,装完浏览器开 127.0.0.1:8080 就能聊。
实测数字它自己贴了,两台普通游戏本,不是实验室:
- RTX 5070(12GB)+ 64GB 内存:Q2_0 出字 94 tok/s,IQ3_S 53 tok/s,读 32K 上下文 1620~2650 tok/s
- AMD RX 9070 XT(16GB)+ 47GB 内存:Q2_0 60 tok/s
它不是个玩具聊天框。本机起的是标准 OpenAI 兼容接口(/v1),Anthropic 那套走 /v1/messages,Codex 这类用 Responses API 的走 /v1/responses。Claude Code 一行 ANTHROPIC_BASE_URL=http://127.0.0.1:8080 指过去就换成本地模型了,其他应用统一填 base_url + /v1,key 和模型名随便写。还带 MCP server,你现有的 AI 编码助手能自己查显卡内存、自己挑合适的档、自己装完。官方甚至专门写了 docs/AI_SETUP.md,意思是把仓库地址丢给 Claude Code 让它自己装。两张到三张显卡还能分摊同一个模型,多卡党有口饭吃。
选档按内存来:32GB 用 Coder 版(砍掉一半专家,作者实测保住完整模型 91% 的 SWE-bench Verified 分数,但中文和其他 CJK 明显弱,issue #438),48GB 上 IQ2_XS,64GB 全档都能跑,IQ3_S 最好也最慢。代价是硬盘留 80GB、下载约 70GB,首次启动它要把 35~55GB 塞进内存,机器卡 1 到 3 分钟是正常的,别手贱关窗口。
二、magpie:40 多个 Agent,一个入口
magpie 解决的是另一件憋屈事。Claude Code 认 Anthropic 的 key,Codex 认 OpenAI 的,Gemini CLI 认 Google 的;你在 Kimi 上买的额度塞不进 Claude Code,CC Switch 里存的那套配置 Codex 也读不到。订阅是一个个孤岛。
它在本机 127.0.0.1:3425 起一个网关,同时讲 OpenAI Chat、OpenAI Responses、Anthropic Messages、Gemini 四种协议,互相翻译,流式、工具调用、推理内容都过。装好后它直接读各家 agent 的登录态,把它们变成 provider:Claude Code 跑 Kimi,Codex 跑 DeepSeek,Gemini CLI 跑 GLM,OpenCode 用你的 ChatGPT 订阅,菜单栏点一下就换。命令行也行,magpie claude deepseek/deepseek-v4-pro 一条完事。
真正救命的是 routing group:一个模型绑多个账号或多家供应商,配额烧完自动切下一个,agent 那边压根看不到报错。magpie group add "Opus anywhere" models=claude/claude-opus-5-5,copilot/claude-opus-5.5 routing=smart 一条命令建组,再 magpie claude group/opus-anywhere 就能在订阅之间自动漂。magpie quota 能看每个套餐还剩多少,magpie save work && magpie use work 存配置档,一套叫「省钱」一套叫「干活」随时换。
预置厂商挺全,国内几家都在列表里:DeepSeek、Kimi、智谱 GLM、MiniMax、阶跃、通义、百度千帆、腾讯云、华为云 MaaS、火山方舟,外加任何 OpenAI 或 Anthropic 兼容地址。模型列表直接从 models.dev 拉,今早刚发的模型刷新一下就在选择器里。macOS / Windows / Linux / Docker / Termux 都有包,Go 写的,MIT。
实话
两个都别当成「从此不花钱」。Strata 那 70GB 下载和 35~55GB 内存占用是硬门槛,12GB 显存跑 125B,量化压到 Q2_0 的智商你自己心里得有数,正经写代码还是 Coder 版更实在。magpie 那套订阅登录态等于把你所有订阅的钥匙串交给一个应用,隐私开关在 Settings → Privacy 里,介意的就关掉,只用 API key,功能不受影响。
我自己会怎么配:64GB 的机器跑 Strata 当兜底和离线出口,网关位置交给 magpie,省钱和断网各管一头,谁也别抢谁的活。