Braintrust 是什么？8 亿美元估值的 Agent 观测层，先证明「没变差」再谈上线（基础篇）

Agent 上线之后，最难的问题不是「它会不会答」，而是「你换了个模型、改了两句 prompt，凭什么说它没变差」。Braintrust 卖的就是这份证据：每次调用全存下来，线上失败一键变成数据集，分数不过基线就不许上线。2026 年 2 月它拿了 8000 万美元 B 轮，估值 8 亿美元。

它到底是什么

官方给自己的定位是 active observability platform for agents（主动式 Agent 观测平台），不是又一个 eval 脚本库。两件事绑在一起：把生产环境的 trace 收进来，再用这些 trace 反过来改 Agent。

客户名单是硬的：Notion、Replit、Cloudflare、Ramp、Dropbox，都写在 B 轮融资公告里。Notion 那边的说法是 24 小时内换上新前沿模型，因为回归测试有人替它兜底；他们工程师的原话是「Braintrust 是我们所有数据集的唯一来源」。

产品线按官方文档分五段：Observe（看日志找模式）、Annotate（人工打分、攒数据集）、Evaluate（跑实验对比）、Deploy（上线并持续监控）、Admin（组织和权限）。

另外还有个不太被提的底座：Brainstore。他们自己做了一个数据库，理由是通用观测库撑不住 Agent trace 的量——一次交互几十步工具调用，数据动辄上百 MB。Trace 那场发布会上给的能力是 SQL 直查 trace（支持 HAVING、PIVOT/UNPIVOT）、高吞吐近实时入库、以及按整条 trace 打分而不是按单行。

三个抓手

一、trace 是原料。 SDK 覆盖 Python、TypeScript、Go、Ruby、C#、Java，几行代码接进去；框架无关，LangChain、LlamaIndex 这类栈都能挂，也有 MCP server 让编码 Agent 直接查日志、跑 eval、改 prompt。真正的杀招是「trace 转数据集」一键完成——评估数据来自线上真实失败，不是拍脑袋编的案例。

二、分数当门禁。 一次 eval 就三样东西：data（带输入输出的用例）、task（被测函数）、scorers（打分函数）。scorer 支持内置的、LLM-as-a-judge、以及自己写代码。跑完生成一个 experiment，每个版本留下输入、输出、分数和元数据，随时能横向比。CI 里跑同一套，分数不过基线就卡住发布——这条比任何 prompt 技巧都值钱。

三、主动找问题。 Patterns 是跑在 trace 上的自动化，把反复出现的问题挑出来；Topics（beta）把每条 trace 摘要成一句话再用 embedding 聚类，官方说它用小模型做摘要、拿 Brainstore 当向量库；Loop 是内置 Agent，能把一个 Topic 直接变成改好的 prompt、新的 scorer 和补好的数据集。Gateway 也在 beta，统一模型入口，走它的请求自动带 trace。

上手要花多少钱

按「处理数据量 + 打分次数」计费，三档都不按席位收钱。

无限用户、无限数据集；创业公司有 6–12 个月免费计划；企业档给 RBAC、自定义留存、以及把 Brainstore 数据面放到自己机房的混合部署，HIPAA 和 GDPR 都覆盖。

几句实话

一、核心平台不开源。 GitHub 上是 SDK、CLI 和 autoevals 那套开源打分库，平台本体闭源。想要数据不出门，只有企业档的混合部署——数据面落地，控制面还在人家那边。这一点跟 Langfuse、Opik 那种整栈可自托管的路线不一样。

二、trace 越啰嗦越贵。 Agent 一步一调工具，每条 trace 几百 KB 很正常，5 GB 听着多，几万条中等 trace 就见底。上量之前先定采样率：全量存线上、还是只存抽样加全部失败样本，账单差一个数量级。

三、跟 LangSmith 不是二选一。 用 LangGraph 的团队，LangSmith 在生产调试上更顺手；Braintrust 强在实验对比和数据集治理，跨框架、跨语言。真要选，看你更缺「查这一次为什么错」还是「证明这一版比上一版好」。

四、AI 帮你找问题的功能，要自己验。 Patterns、Topics、Loop 本质都是拿你的数据再跑一遍模型，成本和误报都得自己扛。官方 demo 好看，落到自己业务上先跑两周，看它挑出来的「模式」到底是真问题还是噪音。

五、观测层正在变成基础设施。 8 亿美元估值、ICONIQ 领投、a16z 和 Greylock 跟投，资本押的是「Agent 时代的 Datadog」。好处是这类工具会长期存在，坏处是等它成了刚需，涨价的主动权不在你手上。

如果你的 Agent 已经有人在用，问题就不再是「要不要 eval」，而是「回归了谁知道」。Braintrust 的答案很土：每次都存下来，把失败变成数据集，把分数变成门禁。土，但能复查。