DeepSeek 把线上推理引擎开源了,Cloudflare 让 Agent 互相证伪:1.66万星 DeepInfer 和 3.5万星 security-audit

DeepSeek 把线上推理引擎开源了,Cloudflare 让 Agent 互相证伪:1.66万星 DeepInfer 和 3.5万星 security-audit

今天的 GitHub 榜单有点反常。涨得最猛的不是又一层 Agent 外壳,而是两个往下扎的东西:DeepSeek 官方的推理引擎 DeepInfer,10 月 16 日建库,五天 16648 星;Cloudflare 的 security-audit skill,3.5 万星,一直挂在榜上不下来。

一个管算力怎么跑满,一个管代码怎么被审干净。这俩都不打算让普通用户”装上就用”,但都值得你花二十分钟读 README。

DeepInfer:把 DeepSeek 线上的发动机拆下来给你看

README 第一句话就把定位写死了:这是驱动 DeepSeek 大规模线上服务的推理框架,开源版给的是离线推理。

能跑的模型只有一个:DeepSeek-V4.1-Flash。硬件只有两条路:NVIDIA SM100,或者华为昇腾 950 NPU。就这两条,没有消费级显卡的份。

里面塞的东西倒是很实在:

  • 内核层用了 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect,外加自己写的 TileLang 算子;
  • 并行上 Attention DP / balanced CP,MoE 走 EP + EPLB(专家并行加动态负载均衡);
  • 解码走 DSpark,用 draft token 加速,再按置信度安排验证,MTP 的 draft 长度默认 5;
  • 长上下文用 SWA 有界重放,只重放尾部一段,V4.1 默认保留 140 个 token;
  • 调度是异步的,CPU 排 batch 和设备执行重叠,默认开着;
  • 还有两个只有做过工程的人才会在意的开关:batch-invariant(不同 batch 组合下结果一致)和确定性采样(同输入、同参数、同输出)。这俩都只支持 NVIDIA。

编译门槛:GCC 13 以上、Python 3.12、CUDA 13 或 CANN 9.2。

然后是最诚实的一段。README 明说,要凑成一个完整的推理服务还缺三样:KV cache 系统、VE / Prefill / Decode 分离(引擎侧功能大部分已实现),以及 DP 副本之间的负载均衡。换句话说,你拿到的是发动机,油箱和传动轴自己焊。

实话:这仓库 99% 的读者装不了。SM100 不是零售货,昇腾 950 更不是。但它真正的价值不是”跑起来”,是一张清单——一个能扛住生产流量的推理引擎到底要解决哪几件事:算子、并行、投机解码、调度、可复现性。自己搭推理服务的人,对着它逐条检查自己缺哪块,比看十篇二手解读管用。

security-audit-skill:让 Agent 互相证伪

Cloudflare 这个仓库 6 月建的,最后一次提交在 9 月中,星数还在涨,现在 3.5 万。它不是一个扫描器,是一份写给 Agent 的流程规范,MIT 协议。

六个阶段,每个都有硬约束:

  1. 侦察:先把架构、信任边界、输入面摸清楚,产出 architecture.md 和 coverage-ledger.json(覆盖账本)。
  2. 覆盖驱动狩猎:按账本里的单元派隔离的 hunter,每个 hunter 记录自己查了什么,再由 coverage critic 找没查到的角落。
  3. 候选验证:每条不重复的候选,交给一个全新的 verifier,任务只有一个——想办法证伪它。
  4. 结构化输出:写 findings.json,分 confirmed / needs_validation / rejected 三态,用 report-schema.json 校验格式。
  5. 独立记录核验:换一批全新 Agent 复核最终的源码断言,被替换过的记录还要再找另一个验证者。
  6. 中立报告:REPORT.md、FINDINGS-DETAIL.md、NEEDS-VALIDATION.md 全部从已核验的记录派生,不许自由发挥。

子 Agent 一律不写文件,所有落盘由主控做;账本和 findings 各有一个 cjs 校验脚本卡着,账本改一次就跑一次校验。

Cloudflare security-audit skill 六阶段审计流程图
六个阶段、两个校验脚本,发现者无权确认自己的发现

这套东西值钱的地方只有一个,但很致命:AI 审代码最大的毛病是自说自话——同一个模型自己发现、自己确认、自己写报告。它把”发现”和”确认”强行拆给不同的 Agent,还专门给”待验证”留了一个状态,并且规定这个状态不许标严重级。这条规矩,比它那些提示词重要得多。

代价也要说清楚。Cloudflare 自己在文档里承认:单次跑最多覆盖大约一半漏洞,靠多轮叠加补缺口;同一个仓库多次跑是增量的,会读上次的 findings,只补没查过的地方。每个候选开一个新 Agent,token 消耗是普通代码审查的好几倍,想先省钱可以看我们之前写的 context-mode。

我自己没在仓库里跑满六阶段,token 顶不住,只逐段读了 SKILL.md 和两个校验脚本。所以别把它当免费的安全团队,它更像一份”怎么让 AI 认真做安全”的作业模板。

最后

这两个仓库的共同点是都不讨好个人开发者:一个要 SM100 或昇腾 950,一个要一堆 subagent 的预算。但方向很清楚——十月的开源热点,已经从”再包一层 Agent UI”退回到”把底座掏出来”。

对大多数人来说,现在最好的用法不是装,是读。DeepInfer 读它的功能清单,security-audit 读它的验证规矩。这两样东西抄进自己的项目里,都不需要额外许可。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注