一个把145B塞进24G显卡,一个让审查者故意失忆:1.19万星Edge0和2万星Elephant-Goldfish

一个把145B塞进24G显卡,一个让审查者故意失忆:1.19万星Edge0和2万星Elephant-Goldfish

这周 GitHub 上有两个项目撞到一起,看着完全不是一路:一个专门解决”大模型放不进显存”,一个专门解决”Agent 太记得自己说过什么”。但刀都砍在同一个地方——别让模型记住太多。一个把权重请出显存,一个把对话请出审查现场。

Edge0:35B 装进手机,145B 装进一张 24G 显卡

先看硬的。Edge0(Edge0-AI/Edge0),1.19 万星,C++ 写的,Apache-2.0,9 月 8 日开源,11 月 13 日刚放出 145B 和 120B 两档模型。

它啃的是 MoE 的老问题:稀疏只减计算,不减要读的字节。论文第一句就写得很直白,35B 级模型 4bit 就是 19.5GB,显存不够就是不够。那朴素地把专家丢到 SSD 上呢?也没用——第 N+1 层的专家必须在第 N 层输出之前就选好,那时候连这层的输出都没有,SSD 的读根本来不及藏在计算后面,只能干等。

Edge0 的办法叫 prerouter:每层挂一个训练出来的预测头,提前一个 token 把下一层的路由猜出来,而且猜出来就直接当路由用,不是”预取提示”。这样先搬进显存的专家集合和真正要用的集合是同一个,一个都不丢。官方说这一步能换来最高 59% 的解码提升,盘越慢、模型越大、K 越大,收益越明显。int4 量化丢掉的精度,用一个不跟主权重合并的 recovery LoRA 蒸馏补回来。

官方基准里 35B 档的设备数据是这样的:

  • iPhone 17 Pro Max(12GB),627 token 的首 token 8.2 秒,解码 13.2 tok/s,峰值 3.05GiB
  • 一加 PKR110(16GB,纯 CPU),首 token 18.4 秒,解码 11.4–11.8 tok/s,2.82GiB
  • Mac M5 16GB,Metal 解码 24.8 tok/s,纯 CPU 也有 21.7 tok/s
  • RTX 4070 SUPER 12GB,Vulkan 解码 23.6 tok/s,显存多吃 5.35GiB

质量上,int4 的 edge0-35b 五项基准平均 79.2,fp16 的 Qwen3.6-35B-A3B 是 83.2,AIME 2026 那项 86.6 对 92.7。差几分,不是没有代价,但能接受。

145B 那一档换了玩法:latent MoE,512 个专家里选 10 个加 1 个共享专家,专家输入压到 1792 维,注意力还是全宽 2560;51.2B 的 n-gram 表用 fp8 内存映射挂在旁边;Q3_K 权重 40.81GiB。它跑在 edge0-strata 上——就是上个月我写过的那套 Strata 调度器的 fork,那篇文章里说过它怎么排 CPU、GPU 和 PCIe 的活。

结果:RTX 5090 D 24GB,145B 的 agent 解码 121.2 tok/s,聊天 99.7;4090 24GB 是 91.7;M2 Ultra 57;把显卡用 cgroup 压到 16G 显存 + 20G 内存,还有 44.9 tok/s。

Edge0 流式 MoE 架构:prerouter 提前一个 token 预测路由,专家从 SSD 经主机内存流进显存
Edge0 的取数路径:GPU 每层只用 10/512 个专家,prerouter 提前一个 token 把下一层路由猜出来,缺的专家从 SSD 经主机内存预取进显存。结构按官方 README 与 arXiv:2609.18063 绘制。

说实话的地方:

“145B on a laptop” 里的 laptop,是 24G 独显的笔记本,不是你那台核显轻薄本。手机上的 35B 是 13 tok/s,能聊天,不能拿来干活。3.05GiB 是峰值活跃内存,不是”模型只占 3G”——权重还躺在闪存里,每个 token 都在读盘,手机 NAND 的随机读寿命、发热降速,官方表里一个字没提。prerouter 猜错了不重读,等于模型自己认了这个错,质量靠 LoRA 补,这是工程取舍,不是无损。门槛也不低:NVIDIA 要 CUDA 13,Mac 只支持 Q3_K,Metal 上下文固定 32768。

Elephant-Goldfish:让审查者故意失忆

第二个是 2 万星的 google/elephant-goldfish-model,9 月 13 日建仓,Apache-2.0。README 里自己写了一句”这不是 Google 官方支持的产品”,这点得先说明白。

名字来自 Google 的 Dave Rensin 写的一篇文章《Elephants, Goldfish, and the New Golden Age of Software Engineering》,逻辑很土但很对:

  • 大象记性好,抱着整个项目的上下文,跟你把设计文档写出来。
  • 金鱼只有七秒记忆,负责审查——它只拿到文档和文档里引用的源码,看不到前面几个小时的对话。
  • 你负责拍板,架构上的取舍只能人来定。

为什么非得这么干?因为让同一个 Agent 写完再自己审,它只会给自己找理由。它记得自己为什么这么设计,就会觉得这么设计很合理。金鱼没有这段记忆,只能靠文档本身站不站得住来判断。

落地是 7 个 skill:brainstorm(试想法、写概念稿)、draft(出设计文档)、resolve(处理审查意见、定改动)、bootstrap(给老代码库补文档)、review(五阶段审查)、review-loop(自定义审查组)、drift-report(拿文档跟现在的代码对账,看文档烂到哪了)。review 会拉起一批全新审查者,每个都是干净上下文;官方在 Muse 上跑过 15 个 fresh-context 审查者的端到端测试。

装法给一行:

claude plugin marketplace add google/elephant-goldfish-model && claude plugin install egm@egm

Codex CLI 是 codex plugin marketplace add … 加 codex plugin add egm@egm;Antigravity 用 agy plugin install https://github.com/google/elephant-goldfish-model;另外还有 ChatGPT 桌面版和 Claude Cowork 的插件入口。注意别只拷 skills/ 目录,它运行时还要读 agents/ 和 resources/ 里的标准文件,装半个插件就废了。

说实话的地方:

这不是新模型,也不是什么新框架,就是把”先写设计再写代码”这套 spec-driven development 塞进 Agent,再用多个无状态审查者互相拆台。它的成本在 token 上:15 个审查者每人把文档和引用源码读一遍,一次 review 的账单够你刷几十轮对话。所以它适合要交付给别人看、要长期维护的项目;自己写着玩,先老老实实写一份设计文档就够了。兼容性也还在补:Muse 上具名 agent 起不来,只能用通用 fallback;Windsurf 是实验性的,IDE 那条路没测。

最后

Edge0 不让显存放整个模型,Elephant-Goldfish 不让审查者记住整个对话。前者省下的是 40G 权重里九成不用的专家,后者省下的是”我上一轮已经这么想了”的自我确认。想在家跑大模型,先看 Edge0 那张 24G 的表;想少返工,先跑一遍 EGM 的 review loop。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注