一个把实验日志写成 LaTeX,一个把本地推理压到极限:5,109 星 PaperOrchestra 和 1,271 星推理优化技能

一个把实验日志写成 LaTeX,一个把本地推理压到极限:5,109 星 PaperOrchestra 和 1,271 星推理优化技能

今天 GitHub Trending 第八名有点反常——不是 coding agent,也不是新模型,而是 Google Cloud AI Research 的一套写论文流水线 PaperOrchestra,一天涨 1,524 星,总量 5,109。几乎同时,11 月 16 日才建仓的 inference-optimisation-skill 四天攒到 1,271 星,它做的事更土也更实在:教 Agent 怎么把本地推理服务器的速度一点点爬上去。一个在产出端替你写,一个在成本端替你抠。两个都值得装,但各自的边界得先说清楚。

PaperOrchestra:把 idea 和实验日志喂进去,吐出一份 LaTeX

README 的定位很克制:输入是「未整理的前期材料」——idea、实验日志,输出是「submission-ready 的 LaTeX 手稿」,中间由五个专职 Agent 走完:Outline 搭骨架,Literature Review 检索并整合文献(走 Semantic Scholar API),Section Writing 分节写,Content Refinement 回头改,Plotting 从代码生成图。图不是示意图,是让 Agent 写绘图代码跑出来的,所以打开 --use_plotting 后,你拿到的是能复现的图加 LaTeX 源文件,templates/ 里已经带了 CVPR 2025 这类会议模板。

装起来不复杂:conda 建 Python 3.11 环境、pip install -r requirements.txt、.env 里填 SEMANTIC_SCHOLAR_API_KEY,再给 GEMINI_API_KEY(或走 Vertex)或 OPENAI_API_KEY。仓库还带了个 Streamlit 前端,可以先不下自己数据跑 demo。

论文里的数字:他们顺手做了个 PaperWritingBench,把 200 篇顶会论文反向拆成「原始材料」,再让各家自动写作系统重写。人工盲评里,PaperOrchestra 的文献综述部分胜出基线 50–68 个百分点,整篇胜出 14–38 个百分点。

实话:这些胜率是作者团队自己组织的评测,不是第三方复现。更要紧的是 README 里两句话——「这不是 Google 官方支持的产品」,以及数据集「后续单独发布」,现在仓库里没有。也就是说,你得自己准备 raw materials 目录:idea 文档、实验日志、跑出来的表和图。它替你干的是「从材料到成稿」这一段,不是替你做实验。所谓 submission-ready 是格式 ready,审稿人认不认是另一回事。把它当成能省掉两三天排版和综述初稿的助手,预期就对了。

inference-optimisation-skill:先算上限,再一格一格爬

本地部署的人都有过这个体验:同一张卡、同一个模型,抄来的 vLLM 参数跑 40 tok/s,别人视频里 90 tok/s。差别往往不在硬件,在参数和启动方式。这个技能包干的,就是把「玄学调参」变成流程。以前聊过 vLLM 的并发模型和显存分配,但落到具体某一台机器上,参数还是得自己量。

它不是一个配置模板,而是 SKILL.md 流程加三个脚本:

  • ceiling.py 先算理论上限:每个 token 要读多少字节除以显存带宽、FLOPs 除以 50% 峰值算力、KV cache 能放多少 token。先知道天花板,才判断 53 tok/s 是好还是烂。
  • bench.py 对任何 OpenAI 兼容服务压测:启动、TTFT、单并发 decode、多并发聚合、冷 prefill、长上下文 needle、峰值显存都测;token 数只认服务端 usage,不数流式 chunk。
  • queue.sh 串行队列,强制 control/candidate/control 交错跑,取中位数。
inference-optimisation-skill 的爬山闭环:硬件实测、理论上限、基线、换杠杆、交错 A/B、门禁后发布
先算理论上限,再一次只动一个变量;没赢过两侧对照就回去换杠杆

接受标准很硬:新配置必须同时赢过前后两个对照组,任何指标回退不超过 3%,再过 128K needle 检索和并发满 KV soak,才敢叫「更好」。

他们自己跑出来的数字:Arc B390 核显(64GB 统一内存)上 Ornith-1.5-35B-A3B EXL3 4bpw,单用户 decode 43.6→53 tok/s,256K prefill 297→628 tok/s,启动 113→43 秒,KV 从 264K token 变成 4×256K;RTX 3090 上 Qwen3.8-27B 三比特量化加 MTP,散文 96.2 tok/s、代码 141.1;4×H200 NVL 上 DeepSeek-V4.1-Flash 原本满载崩掉,调到 229.1 tok/s decode、17,546 tok/s prefill。这套思路和之前 gpu-unlock 从消费显卡里抠算力、DeepInfer 把线上推理引擎开源 是同一件事的三个层面:硬件、引擎、参数。

实话:这些数字全是他们的硬件、他们的模型、他们的量化。你照抄参数不会自动变快,能抄的是方法论——先量带宽、算上限、一次只动一个变量、交错对照。它自己也承认 B390 的 decode 只到理论上限的 55%,剩下卡在 GEMV kernel 效率。所以这个技能最值钱的地方不是「涨了多少」,而是能提前告诉你「这个目标已经超过物理极限,别折腾了」。另外它 1,271 星、建仓四天,社区复现还很少,别当成熟工具用。

两个方向,一种变化

一个把 Agent 用在写作流水线,一个把 Agent 用在性能爬山。共同点是验收标准都很明确:论文看格式、引用和审稿人打分,推理看 tok/s、TTFT 和长上下文崩不崩。Agent 只有接到这种能量化的活上才真正省人,否则就是多一个需要 review 的实习生。

对本地部署的人来说,第二个更实在。不用换卡,先把带宽算清楚、把参数调对,往往比等下一代显卡来得快。至于写论文那个,等数据集放出来、有人拿真实投稿流程跑一遍,再判断它是助手还是玩具。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注