这周的 GitHub 有点分裂。一个仓库在研究怎么让模型”少说废话”——34,045 星,把一次判断压到 33 毫秒;另一个仓库干脆把 719 篇 AI 写的数学论文摊在桌上,还老实交代其中只有约 42% 做了 Lean 形式化。两个项目放一起看,正好戳中 2026 年做 Agent 的两条命门:什么时候不该调大模型,以及调完之后谁来验。
一、laya:不做生成,反而更快
写 Agent 的人大概都干过这种事:为了判断一张工单是”退款”还是”物流”,调一次大模型,让它输出 JSON,然后正则解析、失败重试、再兜底。laya 的思路是把这一整段砍掉。
它是 encoder-only 的三套权重:laya(英文,约 421M)、laya-multilingual(mmBERT-base,322M)、laya-typed-decisions(微调版,约 421M)。输入一段文本加一个问题,输出不是文字,而是 typed decision:choice(选一个选项)、score(打分)、noul(是/否)。没有 decode 循环,也就没有 JSON 解析和格式幻觉。
数字来自它的 README 和 BENCHMARKS:T4 上单条 32.8–39.5 ms,10 条批量 72.3 ms,批量跑 20 张工单比逐条快 2.6 倍。Router 用纯 Python 做脚本和语言检测,耗时不到 0.5 ms,而且这一步完全不加载权重。
训练用的是 RLCD——拿严格适当评分规则(strictly proper scoring rules)做强化学习,所以输出概率是可校准的,能直接拿阈值当闸门。这个设计在工程上很值钱:你可以设一个 min_confidence,低了就让它弃权,把剩下的交给大模型,而不是让一个小模型硬猜。链路大概长这样:
接入方式给得很全:HTTP server、MCP server、LangChain/LangGraph、LlamaIndex、CrewAI、ONNX,另有 TypeScript 版。PyPI 上是 0.4.13,Hugging Face 上主模型 5.5 万次下载、5,792 个赞,不是刷出来的空壳。
二、openai/math:719 篇手稿,42% 能过 Lean
另一头是 OpenAI 直接开的仓库 openai/math,15,421 星,Apache-2.0,10 月 6 日建库。里面是内部未发布模型在开放数学问题上产出的手稿:719 篇,归成 372 个族,每题平均烧 3 小时 ChatGPT Pro 的思考算力,整个评估期一共喂了大约 4,000 道题。
README 里有两句话值得抄下来。一句是”现有数学评测饱和之后,我们扩大了评估范围”;另一句是”约 42% 的顶层结果完成了 Lean 形式化”。剩下 58% 没有机器验证,作者自己写明”部分未形式化的结果可能有问题”。
内容不是凑数的:包括 CM 阿贝尔簇上的霍奇猜想、黎曼 ζ 函数 Re(s) > 11/12 的无零点区域(这篇的写作经过人工润色)、自由群因子的同构、稀释自旋玻璃的 Mézard–Parisi 公式。另外放了 10 篇推理摘要,让人能看到模型是怎么绕路的。
三、实话
laya 的 33 毫秒有前提:权重已经在显存里、单条、T4。第一次跑要下 checkpoint,三个加起来约 2.3 GB,冷启动是秒级。更要紧的是 base 模型很弱——同一批 2,000 条 typed decision,base 英文权重只有 0.362,微调后才 0.766。它不是装完就灵的东西,得拿你自己的数据再训一轮。
多语也不是免费:英文权重 0.820,多语 0.710,README 自己算过,英文流量低于 62% 时用多语权重才划算。最刺眼的是高棉语——0.000 准确率配 0.952 置信度(原始温度)。也就是说,非拉丁脚本如果没被 Router 先分派,模型会非常自信地全错,置信度闸门救不了这种错,只能靠前面的语言检测挡住。
openai/math 则要摆正位置:它是手稿仓库,不是产品,也不是能复现的实验。3 小时/题的思考算力、未发布的内部模型,个人复现不了。42% 形式化意味着剩下的一半多还得靠人读,看到”AI 证明了霍奇猜想”这种标题,先确认范围是 CM 阿贝尔簇,不是整个猜想。
但两个项目指向同一件事:2026 年 Agent 的竞争,已经不在”能不能生成”,而在”什么该生成、什么该选择、结果谁来验”。上周写谷歌 Harness²时说的是同一件事——模型权重冻住,改的是外面的脚手架;context-mode 那篇讲的是把上下文砍掉 98%。laya 是这条线的极端版本:连生成都不要了。
如果你手上有一堆分类、路由、审核、打分的调用,值得花一个下午把 laya 接上去,用自己攒的 200 条数据对比一下准确率和账单。至于 openai/math,当一份”AI 现在能走到哪”的样本读就好,别急着当结论。