一个把缺陷钉到行号,一个把技能拉去考试:5.3 万星 OpenCodeReview 和 3,158 星 SkillEvaluator

一个把缺陷钉到行号,一个把技能拉去考试:5.3 万星 OpenCodeReview 和 3,158 星 SkillEvaluator

写代码的 Agent 多了以后,问题从”能不能写出来”变成”写出来的东西谁签字”。11 月 17 日 GitHub 趋势榜第一是阿里的 OpenCodeReview,53,367 星;英伟达的 SkillEvaluator 3,158 星。两个项目搭在一起看挺有意思:一个审代码,一个审技能,干的都是同一件事——给 AI 的输出装一道能复核的流程。

OpenCodeReview:工程管流程,模型只管判断

阿里这个工具在内部跑了两年,官方说法是服务数万开发者、挖出上百万个缺陷,今年 5 月才开源。它要解决的不是”模型够不够聪明”,而是”通用 Agent 审代码为什么会飘”。

README 里点了三个坑,用过的都熟:改动一多,Agent 就偷懒,只挑几个文件看;报出来的问题经常对不上位置,行号漂;同一段代码,提示词改两个字结论就变了。

它的解法是把不该出错的部分交回代码:哪些文件进审查、哪些过滤掉,由确定性逻辑决定;相关文件捆成一个单元(比如 message_en.properties 和 message_zh.properties 必须一起看),每个单元是一个独立上下文的子 Agent,大改动天然能并发;规则用模板引擎按文件特征匹配,而不是丢一段自然语言让模型自己领会。定位和反思是两个独立模块,专门修”说对了但行号不对”这种毛病。模型只负责动态决策和取上下文。

用法不复杂,npm 装完就有 ocr 命令,Git 要 2.41 以上:

npm install -g @alibaba-group/open-code-review
ocr review                            # 工作区改动
ocr review --from main --to feature   # 分支区间
ocr scan --path internal/agent        # 整文件扫描,不需要 diff

不想再配一套 key 就走 delegation 模式:OCR 只管选文件和规则,真正读代码的是你当前的 Claude Code、Codex 或 Cursor,用它自己的订阅。

它自己放了个基准 AACR-Bench:50 个开源仓库、200 个真实 PR、10 种语言,80 多位资深工程师交叉标注,1,505 条 ground truth 问题。同一个底座模型对比 Claude Code,精度和 F1 更高,token 只花约 1/9,速度也更快。

实话是:召回率是故意调低的。官方明说这是拿召回换精度,宁少报不错报,代价就是它一定会漏。适合当第一道筛子,不适合当最后一道闸门。Go 写的 CLI,Apache-2.0,OpenSSF Gold,GitHub Actions、GitLab CI、Gerrit 都有现成接法。

SkillEvaluator:给”技能到底有没有用”出分

英伟达这个更狠,它不评代码,评技能包。逻辑很朴素:一条 SKILL.md 装上去,Agent 是变强了还是变啰嗦了?答案是做对照实验。

三层,每层都能单独跑。Tier 1 验证:schema、frontmatter、文档质量、安全扫描(提示注入、数据外泄)、密钥和 PII、license、脚本 lint,确定性检查离线可跑,不联网也不要 key。Tier 2 去重:用 embedding 找技能内部的重复段落,以及整个技能目录里的覆盖重叠。Tier 3 实跑:生成评测任务,丢进 Harbor 沙箱,装技能和不装技能各跑一遍,同 prompt、同模型、同评分标准,差值就是 Skill Lift。

8 月那份官方博客给了一批数字:300 多个已验证技能、30 多个 NVIDIA 产品、两套 harness。平均 Skill Lift 在正确性上 +41 分,有效性 +39 分。基线分更值得看——正确性、可发现性、有效性、效率四项平均只有 39 到 46 分(满分 100),安全项 97。换句话说,装上技能之前,Agent 大部分时候连”该用哪个工具”都摸不准。

两个反直觉的结论:产品差异远大于 harness 差异,Claude Code 平均只比 Codex 高 5 分,但单个产品从 +2 到 +46 都有;省 token 不是自动的,jetson-optimize-memory 把 token 从 617,306 压到 142,540(-76.9%),耗时从 474.9 秒降到 220 秒,而 cuopt-install 反而涨了 120.3%。

实话:官方标的支持级别是 Experimental,社区支持、没有 SLA。想跑满三层,得有 provider key、agent CLI 和沙箱,不是 pip 装完就能用;Tier 1 的确定性检查倒是开箱可用。它接 Claude Code、Codex、OpenCode、OpenClaw 都行,npx skills add NVIDIA/SkillEvaluator 装进 agent 之后直接问”我这个技能行不行”。

OpenCodeReview 与 SkillEvaluator 两条审查流水线对比
两条流水线:阿里把选文件、分捆、匹配规则交给确定性工程,模型只做判断;英伟达把技能装与不装各跑一遍,差值就是 Skill Lift

两句实话

两个项目放一起,方向很清楚:2026 年下半年,大家不再比谁的 Agent 更能干,开始比谁能证明它干了什么。OpenCodeReview 把结论钉在行号上,SkillEvaluator 把收益钉在分数上。

但别指望它们替你拍板。审查器召回调低是有意的,技能评分再细也只是分布里的一个点。真正的用法是把它们塞进 CI 当门槛——过不去就得解释为什么,而不是让 AI 说一句”看起来没问题”就合进去。

相关阅读:Elephant-Goldfish 那个让审查者故意失忆的项目,以及把 Agent 交的活摊开画批注的 Plannotator。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注