这周 GitHub 上有两个项目在较同一件事的劲：模型太大装不进去，那就别装。一个把 1.45TB 的专家权重留在 NVMe 上，每生成一个 token 现读现算，用 8.24GB 内存跑完 2.78 万亿参数的 Kimi K3；另一个把热专家放显卡、温专家放内存、冷专家放 SSD，一张 5090 就能跑 321B 的 GLM-5.3-Flash。前者 10,411 星，后者 2,518 星，路线完全相反，但都在回答同一个问题：模型放不下的时候，到底该搬什么。
kimi-k3-in-c：176KB 的引擎，8.24GB 的峰值
FareedKhan-dev 这个项目 8 月就建了，最近又被顶上来。数字先摆出来：2.78 万亿总参数，每 token 激活约 104B，93 层，其中 69 层 KDA 线性注意力加 24 层 Gated MLA，896 个路由专家里选 16 个。
真正狠的不是模型，是它怎么放。1.45TB 的路由专家永远不进内存，缺哪个专家就 pread 哪一段，热门的留在 LRU 缓存里；108.81GB 的稠密主干是那根调节旋钮，内存够就常驻，不够就流式过一遍；始终占着内存的只有 4.7GB 的 embedding、final norm 与输出头，和 626MB 的循环状态。整个推理引擎 176KB，纯 C99，没有 BLAS，没有框架，没有 GPU，连 safetensors 读取都是手写的。
README 里有张很实在的表：8GB 内存 26.5 秒一个 token，32GB 24.2 秒，64GB 19.8 秒，128GB 以上 5.6 秒。四台机器输出逐字节一致，差的只是时钟。8GB 那档意味着五百个 token 要跑三个多小时，这显然不是能天天用的东西。它的价值不在能用，在于把「内存不够时到底慢在哪」量出来了：每一步都在等磁盘，算力反而是闲的。
作者在 README 里挂了自己的 CV，公开找 AI 研究和博士机会。这种项目多半就是这么来的：一个人、一台机器、一份想把账算清楚的执念。
Project Maya：把专家分三层，一条命令装完
Maya 走的是另一条路。它不追求「最小内存」，追求「在你已有的机器上跑得动」。三个模型各配一个引擎：GLM-5.3-Flash 321B（18B 激活，100 万上下文，MIT 协议）、DeepSeek-V4.1-Flash-1017 748B、MiniMax-M3.1-Flash 428B。
核心是专家分层：对话里最常用的专家留在 GPU，次热的放 RAM，剩下的放 NVMe，边聊边换。装的时候它会测显卡、CPU、内存和 SSD，自己调参数，不用你手算显存。
官方给的数：单张 5090 三十多 token/s，RTX PRO 6000 81，四张 4090 118，两张 H100 124，两张 5090 加一张 4090 到 149。量化版本 GLM-5.3 Maya-S 96.5GB，保留 FP8 原版 97.9% 的零样本准确率，下一个 token 和原版一致的概率 83%；Maya-L 156.3GB，99.2% 和 90%。DeepSeek V4.1 的 Maya-S 是 92.6%，MiniMax M3.1 是 87.6%。
这些数字得这么读：96.5GB 是内存加显存一起算的，不是一张卡。24GB 的卡配 64GB 内存能跑 XS 档（73.4GB），想上 S 档得有接近 100GB 的池子。149 token/s 是三张卡的成绩，单卡三十多 token/s 才是大多数人的现实。
但它是真能用的那种能用：OpenAI 和 Anthropic 双兼容 API、工具调用、最多 8 路并发、图片输入，装完打开 127.0.0.1:8080 就是聊天界面。Cline、OpenCode 这类 coding agent 改个 base_url 就能接。项目免费，作者靠赞助养测试硬件。
实话
两个项目放一起看，结论比单个项目有意思。
「本地跑大模型」的门槛已经不是能不能跑，而是每 token 要搬多少字节。kimi-k3-in-c 证明容量可以拿带宽换，代价是 26 秒一个 token；Maya 证明带宽可以拿容量换，代价是 96GB 的池子和一堆量化精度损失。两条路都没有魔法，只有账。
对普通人的实际建议：想在自己机器上跑 agent，先看内存带宽和 NVMe 的顺序读，再看显卡。一张 24GB 卡加 64GB 内存，跑 70B 级模型很舒服，跑 300B 级就是找罪受。之前写过从显卡里抠算力的路子，思路一样，都是先认清瓶颈在哪。
至于 Kimi K3 本身，云端版本在 Kimi Agent 里按 token 卖，49 元起。本地这版是给你看账本的，不是给你省钱的。
模型会继续变大，机器不会突然变便宜。学会搬数据，比等一张更大的卡靠谱。
