AI前沿速递|colibri 纯C硬啃2.8T MoE、OfficeCLI 让AI替你写PPT、nanochat 百元训个GPT-2、OpenWiki 文档自己维护

AI前沿速递|colibri 纯C硬啃2.8T MoE、OfficeCLI 让AI替你写PPT、nanochat 百元训个GPT-2、OpenWiki 文档自己维护

今晚刷 GitHub 又刷了一晚上没合眼——不是我卷,是仓库真的多到辣眼睛。照例挑几个这周在涨、我又觉得值得唠的:有纯 C 硬啃 2.8 万亿参数模型的、有让 AI 替你写 PPT 的、有 Karpathy 把训练费干到 100 刀以内的,还有个让文档”自我维护”的。废话不多说,一个个过。

1. colibri — ⭐27K,纯 C 零依赖,把 2.8 万亿参数的 MoE 跑在你手头的机器上

这个是我今天最兴奋的一个。它口号就俩词:Tiny engine, immense model(微型引擎、庞大模型)。用纯 C 写、零依赖,核心思路是别把显存/内存/硬盘当三样东西,当成一条多级推理流水线——专家(MoE 里的 expert)不够放显存就从内存流式拉,再不够就从硬盘顶,稀疏路由该激活谁激活谁。

  • 官方说能跑 8 个模型家族:GLM-5.2/5.3(744B)、Inkling(975B)、Kimi K3(2.8T)、DeepSeek V4 Flash(284B)、Qwen3.8-Flash-Next 等,每个就一个 C 文件
  • 同一套 ./coli chat / ./coli serve / ./coli web 前端
  • Web 仪表盘能实时看 19456 个”专家”谁在发热,还有个 3D 的”专家图谱”页,按路由亲密度聚成星座,能拖着转——挺科幻
  • 自嘲很实在:对速度没有 SLA,但对语义有硬保证——内存不够就降速,绝不悄悄改精度或路由逻辑

上手就是去 Releases 拖个二进制跑 ./coli chat。他们 demo 里 744B int4 只要 ~9.9GB 常驻内存就能在 CPU 上流式聊,速度嘛……别指望飞。实话:这玩意我没真机实测,多卡调度、存储带宽够不够都是要看脸的事,别被”10GB 跑 744B”忽悠瘸了。适合手里有不止一块卡、或者想搞明白 MoE 稀疏推理底层的人——这属于咱”碾压赛道”,比天天换皮玩 Agent 有意思多了。

2. OfficeCLI — ⭐30K,给 Agent 装了双”眼睛”的 Office 全家桶

单二进制、免装 Office、免依赖,让你手头的 AI Agent 能读能写 Word / Excel / PPT。它家最骚的一招是内置 HTML 渲染引擎:把 .docx / .xlsx / .pptx 渲染成 HTML 或 PNG 给 AI”看”,AI 看一眼长啥样,再动手改,改完再渲染回去检查——渲染 → 看 → 修 闭环,这思路比让模型盲写 OOXML 靠谱太多。

  • 安装一行搞定:curl -fsSL https://officecli.ai/SKILL.md 丢给 Agent,它会自己装好二进制和 skill
  • 人类想用也有 GUI:AionUi,用大白话让它给你做 PPT / 填报表
  • officecli install 会自动给 Claude Code、Cursor、Copilot 等装上 skill

实话:单二进制 + 自带渲染这设计我挺喜欢,但复杂版式、公式图表这种保真度到底几斤几两,得自己踩坑才知道,我没实测。适合被老板/客户追着改文档、又懒得手动抠模板的同学——把填表这种脏活甩给 Agent 正合适。

3. nanochat — ⭐57K,Karpathy 的”100 美元最好的 ChatGPT”

Karpathy 的整活项目,正经名字叫 nanochat:最简 LLM 训练实验台。目标是让想搞懂 LLM 怎么训出来的人,自己动手训一个。关键数据拉满:

  • 2019 年训一个 GPT-2 能力级别的模型要 ~$43000;现在 ~$48(8×H100 跑约 2 小时),租 spot 实例能压到 ~$15
  • 一个复杂度旋钮 --depth,其它宽度、层数、学习率、训练轮数全部自动算,专为训练”计算最优”模型族
  • 一条命令 bash runs/speedrun.sh 训完直接 python -m scripts.chat_cli 和它聊天
  • 自带 GPT-2 竞速榜:原版 OpenAI 跑 168 小时,社区已经卷到 1.65 小时

实话:我还没到真金白银租 8×H100 的地步,但代码是纯 PyTorch 挺干净的,单卡也能跑就是慢 8 倍。训出来顶多像个幼儿园小孩,问它天上为什么是蓝的它会一本正经给你讲瑞利散射——挺可爱。适合想从 tokenization 到推理全流程看明白、手里有点算力的人。

4. OpenWiki — ⭐16K,LangChain 官方出品的”自我维护文档”

一个 CLI,让 Agent 读你代码库源码,自动生成一份有内部链接的 Markdown wiki,而且代码一改它自己跟着更新。做出来是给 Agent 当”记忆库”读的,人类想翻也有个可视化 node 图。

  • 两种模式:code(给仓库)、personal(给你私人知识)
  • 直接跑在 Codex / Claude Code / OpenCode / Cursor 里,用宿主模型的账号和仓库工具
  • Grounded Claims:把关键事实绑到”版本化证据”上,证据变了它知道哪些话要重写——这是我最看好的一环
  • 9 个连接器:MCP、Notion、Slack、Gmail、X、网页搜索、HN、LangSmith、本地 git;配 GitHub Actions 自动更新

上手:npm install -g openwiki 然后 openwiki --init。实话:新东西,我自己是有点怀疑”让 AI 维护自己写的文档”这种自我指涉会不会滚雪球跑偏,好在它往回追证据的设计方向是对的。适合 README 烂到没人想补、或者老觉得 Agent 读不懂你代码库的人。

今晚的观察

这周这几个项目有个共同气味——没人再喊”我又训了个新模型”,全在干”让 AI 干杂活 / 在破机器上把模型跑起来”:colibri 把硬盘当显存硬上 2.8T,nanochat 把训练费从四万砍到几十刀,OfficeCLI 跟 OpenWiki 一个替你收拾 Office、一个替你维护文档。这说明生态成熟了:模型够用了,剩下的全是怎么让它们顺手、便宜、别占着顶配机器。对咱这种想自己折腾的玩家,反而是好时候——门槛降下来,就轮到我们抄家伙上了。

以上项目均未深度实测,信息来自各仓库 README 与官方文档,上手前请自行验证。

by 数码罗记·godsun.pro

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注