GitHub双响:Karpathy的nanochat 5.7万星自己训GPT-2,Firecrawl的anydoc把Office全家桶喂给AI

GitHub双响:Karpathy的nanochat 5.7万星自己训GPT-2,Firecrawl的anydoc把Office全家桶喂给AI

GitHub双响:Karpathy的nanochat 5.7万星自己训GPT-2,Firecrawl的anydoc把Office全家桶喂给AI

最近刷GitHub有种感觉:大家不再围着”怎么调API”转了,一头扎向两件事——一头是把大模型训练这件事本身打下来,另一头是把现实世界的脏文档洗干净喂给模型。这期挑的两个项目,正好一边一个,而且都是能直接上手玩的硬货。

nanochat:Karpathy说,100美元就能拥有一个ChatGPT

作者是Andrej Karpathy,前特斯拉AI总监、OpenAI创始成员,他写的教程带入门了无数人。这个仓库叫nanochat,slogan很狂:The best ChatGPT that $100 can buy(100美元能买到的最好的ChatGPT)。

它干的是什么?把训练一个LLM的全流程——分词、预训练、微调、评测、推理,再加一个聊天界面——全部装进一个极简、可魔改的代码库里,能跑在单个GPU节点上。默认配置下,你拨一个复杂度旋钮--depth(Transformer层数),其他超参数(宽度、头数、学习率、训练时长)自动按最优方式算好。比如depth 26,大约就是GPT-2级别的能力。

最出圈的是它的”GPT-2极速榜”:2019年OpenAI训GPT-2花了约4.3万美元,而现在用nanochat的speedrun脚本,在8卡H100节点上约2小时就能训出GPT-2水平,按当前约3美元/GPU/小时算,成本约48美元,抢spot实例甚至能压到15美元左右。仓库里有个排行榜,社区还在不断把”到达GPT-2的时间”往下刷,从3小时已经干到1.6小时左右。

实话说,这个项目不适合只想调包的人。它面向的是真想搞懂”模型是怎么从一堆token变成会聊天”的人,以及手里有卡、想做微模型研究的玩家。单卡也能跑(自动切梯度累积,就是慢8倍),CPU/MPS理论上也行,但显存小于80G就得自己调--device-batch-size了。对没卡的普通开发者,它的价值是学习:全流程摊开给你看,比看十篇博客管用。

仓库:github.com/karpathy/nanochat,目前约5.7万星、8千fork,MIT协议。

anydoc:RAG之前,先把文档洗干净

第二个是Firecrawl开源的anydoc,Rust写的文档转Markdown库,Node.js、Python绑定加浏览器WASM全齐,还有个Agent skill让Claude Code、Cursor们按需调用。

它解决的是个脏活:Word、PPT、Excel、OpenDocument、RTF、EPUB、CSV、PDF,每个格式都有一堆半残的解析器,输出形状还各不一样,做RAG的一半时间都耗在这。anydoc用一个Rust核心、同一套输出面全收了:14种格式全部支持,中位数耗时4.4毫秒。官方的对比基准里,它在完整度、结构、格式、干净度几项上都明显甩开LibreOffice、unstructured、markitdown、docling这些常见方案。

PDF处理有意思:文本型PDF走自家的pdf-inspector直接抽文本(约54%的PDF其实不需要OCR),只有扫描页才走OCR,省了大量时间和token。内容识别看文件魔数而不是扩展名(CSV除外,它没签名)。

这个项目和我之前写过的RAGFlow(7万多星的RAG基建)正好互补:RAGFlow管”知识库怎么建、怎么召回”,anydoc管”文档进来第一步怎么洗”。如果你在给Agent做上传文件、知识导入功能,一个依赖、统一Markdown、本地跑不用调API,就是它的卖点。

仓库:github.com/firecrawl/anydoc,目前约2.2万星,MIT协议,也是Firecrawl Parse线上服务的底层。

老罗实话

这两个项目代表了2026年开源AI的两个实在方向:nanochat是”把训练权还给个人”,anydoc是”把数据管道修结实”。都不性感,但都是真卡脖子的地方。我的建议:有卡的去跑一遍nanochat的speedrun,没卡的把anydoc接进你的Agent上传链路,两个都是今天就能动手的那种。

by 数码罗记·godsun.pro

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注