1250 亿参数的模型,能不能在自己家的游戏本上跑起来?Strata 给的答案是能;跑起来之后怎么把账单压下去,magpie 给了一套接线。这篇不讲概念,直接按仓库文档走一遍:硬件门槛、选档表、首启的坑、接入命令,以及 magpie 那边省钱组的具体命令,文中的数字都标了出处(官方 README、官方跑分表或 issue)。数据截至 10 月 17 日:Strata 2.6 万星、magpie 1.4 万星,都还在迭代(magpie 今天还有提交,Strata 最后一次推送停在 10 月 14 日)。两个项目的背景,前面写过 10 月 7 日 和 10 月 11 日 两篇,可以对着看。
Strata:照抄就行的上手清单
第 0 步,门槛自查,不达标就别去下那 70GB。 显卡要 NVIDIA RTX 20/30/40/50 系,或 AMD RX 7900 XT/XTX、7800 XT、7700 XT、9060 XT、9070/9070 XT、RX 6800/6900 这一档,显存 12GB 起;内存 32GB 起步,64GB 才能跑全部档位;磁盘留 80GB,SSD 明显更快。系统是 Windows 10/11 或 Linux,Apple Silicon 的 Mac 能自己编译引擎,官方说约 7 分钟。
第 1 步,装。 Windows 双击 START-HERE.bat,Linux 跑 ./setup.sh,一路回车就是推荐答案。嫌麻烦就把仓库地址丢给 Claude Code,让它照着 docs/AI_SETUP.md 自己装,官方专门写了这段话术。
第 2 步,选档,按内存来:
- 32GB → Coder:砍掉一半专家,作者实测保住完整模型 91% 的 SWE-bench Verified 分数。代价是非代码任务弱,中文和其他 CJK 明显弱(issue #438),要中文就换 Q2_0 / IQ2_XS / IQ3_S。
- 48GB → IQ2_XS(或 Q2_0,最快)
- 64GB → IQ2_XS(推荐),或 IQ3_XXS / IQ3_S(最好也最慢)
- 96GB 以上 → IQ3_S,或 Unsloth 的 UD-IQ4_XS(94GB 下载)
想更接近原版的看 Unsloth UD-Q4_K_XL 到 Q8_0 那一串,93-95% 的下一个 token 与 Q8_0 一致,但内存得 88 到 136GB;内存不够它会边跑边读 SSD,官方实测 64GB 机器上只有 7-8.5 tok/s。
第 3 步,首启别慌。 下载约 70GB,断了会续传。第一次启动把 35-55GB 读进内存、再锁一部分给显卡,窗口看着像死了,等 1 到 3 分钟是正常的;10 分钟还不动就重启、关掉别的程序、换小档。
第 4 步,接进来。 浏览器开 http://127.0.0.1:8080,里面有 Chat 和实时 Monitor。给应用用就填 OpenAI 兼容地址 http://127.0.0.1:8080/v1,key 和模型名随便写;Claude Code 设 ANTHROPIC_BASE_URL=http://127.0.0.1:8080;Codex 这类走 Responses API 的用 /v1/responses。给编程助手用还带一个 MCP server,它能自己查显存挑合适的档。
两个容易踩的坑:一是默认一次只回答一个请求,跑 Agent 建议把配置里的 parallel 改成 2(12GB 卡上每条会慢一点);二是长 prompt 很贵——第一条消息约 3 万 token 要读一分钟,后续消息几秒就起。
magpie:一套能落地的省钱接线
magpie 的账很好算:它在本机 3425 端口起一个网关,同时讲 OpenAI Chat、OpenAI Responses、Anthropic Messages 和 Gemini 四种协议还能互译,官方列表里 63 个编码 Agent(Claude Code、Codex、Cursor CLI、Cline、DeepSeek Harness、Qwen Code、Hermes Agent 都在里面)全都能挂上来。省钱的接法分三段:
先把手上已有的订阅榨干(这步 0 成本):Copilot、Gemini、ChatGPT、Claude 这些登录态 magpie 会读进来当 provider,Agent 侧想跑哪个模型点一下就换。以前订阅锁死在一个工具里,这一步等于白捡。
主力走便宜 API,配额做兜底:
magpie provider add deepseek sk-…
magpie group add "省钱组" models=deepseek/…,kimi/…,zhipu/… routing=smart
magpie claude group/省钱组
路由组按顺序用,配额烧完自动切下一家,Agent 那边看不到报错。magpie quota 随时看每个套餐还剩多少;magpie save work && magpie use work 存两套配置,干活一套、省钱一套。预置供应商里 DeepSeek、Kimi、智谱 GLM、MiniMax、阶跃、通义、百度千帆、腾讯云、华为云、火山方舟都有,模型列表从 models.dev 拉,当天新发的模型刷新一下就在选择器里。
最后接本地当断网兜底:Strata 跑起来之后就是一个 OpenAI 兼容地址,在 magpie 的 Providers 里加一个自定义地址指过去,云端全挂的时候照样能出活。
两个提醒:它会读 Claude Code、Codex 的登录文件和 Keychain 来发现订阅,介意的在 Settings → Privacy 里关掉(也可以用 MAGPIE_NO_ACCOUNTS=1 单次关掉);发行版每天会往作者那边报一次匿名统计(随机 id、版本、用了哪些 Agent 和供应商),DO_NOT_TRACK=1 全关。自动切号对平台条款仍然是灰区,公司机器上悠着点。
实话
这俩组合不是”从此不花钱”:Strata 的硬门槛是 12GB 显存加 32GB 内存,Q2 档的精度别当基准,仓库还挂着 1100 多个 open issue;magpie 省的是订阅闲置和额度浪费,不是把 API 账单清零。落地顺序我建议这么排:先用 magpie 串起现有的订阅和 key(五分钟见效),再拿 Strata 当离线兜底,最后才考虑把主力切到本地——毕竟 64GB 内存的机器上,IQ2_XS 才是能日常用的速度。想知道这两个项目各自的来龙去脉,翻上一篇。