这两天 GitHub 上有两个项目,看数字都不像能火的:一个 719 星,一个 2,228 星,加起来还没有某些 Agent 框架一天的涨粉多。但它们干的事,正好是这两年最没人愿意干的那部分——把中间层全拆掉,看看底下到底还剩什么。
一个是把 16B 的 MoE 模型塞进小米电视盒那 1GB 可用内存;一个是拿 Zig 重写推理引擎,装完就一个二进制,不碰 Python,也不装 MLX。
smolmaxxing:1.9GB 内存的电视盒,跑起 16B
仓库 11 月 4 日才建,MIT,C 写的,作者 hyperionaidev。三台设备全是没人要的东西:小米电视盒 S 三代(Amlogic S7D,4×Cortex-A55,1.9GB 内存、约 1GB 可用,Android 14,未 root)、2013 年的 iPad Air(A7 双核,1GB 内存、约 700MB 可用,iOS 12.5.7,越狱)、一加 Nord CE 2(天玑 900,7.4GB 里空着 3GB)。
数字是它最有看头的地方,因为全是在设备上量的,不是估的:
- 电视盒:Qwen3.5-2B 默认跑 7.7 tok/s;1-bit 的 Bonsai-8B 5.2;8B 的 MoE Moon-Beam 7.2;16B 的 Ling-mini-2.0 还有 5.1
- iPad Air:1-bit 的 Bonsai-1.7B 24-26 tok/s,长对话掉到 18-22
- 手机:35B-A3B 4.9-5.7,80B-A3B 2.8
最扎人的一组对比是那个 2B 模型从 0.1 tok/s 调到 7.7,×77。同一台机器、同一个模型、没换任何硬件。
怎么做到的?全靠在 llama.cpp 上打补丁,三件事。
一是砍输出头。 小模型的词表占了太多权重——Qwen3.5-0.8B 那个 24.8 万行的输出头,快到整个模型的三分之一。作者把它裁到 6.5 万行、全部走 Q4_K,0.8B 从 7.5 干到 12.1 tok/s。代价是稀有词的输出没了,但日常聊天根本用不到那些行。
二是专家分页。 MoE 每个 token 只用几个专家,那就把热门的留在内存,冷门的放 flash 按需读,顺手把下一层的也预取进来。1GB 内存跑 16B,靠的就是这个。
三是给 A55 手写 kernel。 上游 llama.cpp 只给 x86 和 RISC-V 重排 Q2_K,Cortex-A55 上没有;作者按 vdotq_laneq 重排成 8 行×4 字节,7.8 干到 13.9 G weights/s,生成快 41%,prompt 快 2.4 倍。ternary 权重用 base-3 打包塞进 1.875 bit/weight,还是无损的;1-bit 那张表用的是 T-MAC 那套查表思路,32 行一组、每 4 个激活建一张 16 项表,128 次乘加压到 8 条 NEON 指令。
还有一点值得抄:它不拿困惑度排名,改成 bits/byte(固定 22KB 英文文本折算,不同分词器之间可比)。16B 的 Ling 是 1.054,2B 是 0.909,9B 是 0.885。
TensorFold:Zig 写一个二进制,Python 和 MLX 都不要
2,228 星,520 个 fork,Apache-2.0,6 月建的。一句话流程:brew install,tensorfold pull 拉权重,tensorfold serve 起来,OpenAI 和 Anthropic Messages 两种协议都认。
它自己读 checkpoint、自己分词、自己跑 Metal 或 CUDA kernel。不用装 Python,不用装 MLX,也没有 PyTorch 那一层。这本来是老式 C 程序该有的样子,只是这两年大家习惯了”跑模型先建个 venv”。
硬件面铺得不窄:CUDA release 带 sm_80、sm_86、sm_120、sm_121,主力验证平台是 GB10(DGX Spark)和 M 系 Mac,RTX 3090、RTX PRO 6000 上有记录。模型清单也硬:Nemotron 3.5 Lightning 30B-A3B(带 MTP)、Nemotron Super VL 120B-A12B 的 NVFP4(一到两台 GB10,权重 70.8GiB)、GLM-5.3-Flash 的两三台 GB10 张量并行、Qwen3.6-35B-A3B、Gemma 4 31B,还有 256GB M5 Ultra 上 203.7GiB 的 MiniMax-M3.1-Flash。
三个我觉得有意思的设计:
- exact decoding。 任何被接受的 draft token 必须和
draft:false时逐 token 相同;续跑的请求必须等于新跑一次;并发流必须等于单独跑。这等于把”投机采样会悄悄改输出”写进了验收标准。 - context compaction。 默认关。开了以后对话超窗不拒答,保留 system prompt 和最近几轮原文,老轮次压成一段 memory note(目标、约束、进度、决策、下一步、确切的数字和文件名),每次压缩都在上一份 note 上改,而不是重来。
- Living Weights(实验)。
--slide启动后,把事实直接写进权重文件,还能 rollback;带了 3D 页面,能看哪条事实落在哪几层、落到哪个分片文件里。
实话
smolmaxxing 只有三台设备。路由器和 SBC 还写在 “coming” 里——对 OpenWrt 玩家来说,现在只能自己上手试。5 tok/s 意味着 50 个 token 的回答要等十秒,长回答一分钟,这是”能聊”,不是”能干活”。dense 模型一旦大过内存就废:电视盒上 9B 只有 0.27 tok/s,iPad 上 dense 8B 是 0.08。而且必须用它那套补丁版 llama.cpp,原版加载不了裁过头的模型文件。作者自己还留了个坑:困惑度看不出循环——那个 2-bit 模型困惑度挺正常,13 个长回答里 12 个陷进去了,所以现在得额外统计 free-running 的长生成。
TensorFold 的门槛不在软件在硬件。27B 在 32GB Mac 上要手动抬 iogpu.wired_limit_mb;GLM-5.3 单机不合格,得两台 256GB 的 M5 Ultra,或者两三台 GB10;DeepSeek 到现在还没有哪个 release 二进制能服务(PR #827 还开着)。”不用 Python”省的是环境和依赖,不是显存。
两个仓库解决的是同一件事:不是”模型够不够聪明”,而是”这台机器到底能不能跑”。大厂把钱堆在更大的集群上,这两个项目把钱省在没人看的地方——一个省内存带宽,一个省中间层。手上真有闲置电视盒、旧平板,或者一台 Mac 的人,这两条路都能当晚就试。
想先看本地模型怎么起步,可以从 Ollama 那篇进;手上是 A7Z 这类 ARM 板子,硬改那篇更对口;纯粹想拿低配设备玩 Agent,这张清单列过一遍。