搭 Agent 的时候，Dify、Langflow、n8n 这类画布能让你一个下午跑出个 demo。可一旦上线，问题就换了：这次为什么答错、改了 prompt 到底是变好还是变坏、钱烧在哪个模型上。这三个问题，画布平台基本答不上来。
MLflow 就是冲这三件事来的。而且它不是新玩家——2018 年就在 Databricks 里管机器学习实验，熬到现在 2.84 万星，2025 年 6 月用 MLflow 3.0 正式转身做 Agent 平台。
一、MLflow 是什么
一句话：一个 Apache-2.0 的开源 AI 工程平台，把 Agent 的 trace、评测、prompt 版本、上线和模型网关塞进同一个服务里。
它的底子是 MLOps。Tracking 记参数、指标、产物，Model Registry 管模型版本和上线状态，这套东西在机器学习时代就是事实标准：当年大家被「这个 0.91 的准确率是哪次实验跑出来的」逼疯，MLflow 用三行 API 把实验记录做成了默认动作。后来归到 Linux Foundation 旗下，官方口径月下载 3000 万次以上、850 多个贡献者。
MLflow 3 把这套底子扩到 GenAI 上：tracing、LLM judge、prompt 注册表、应用版本全部进同一个 UI。最新版 3.17.1 是 10 月 13 日发的（PyPI），小版本几乎月月有，迭代没停。
二、它到底管哪四件事
第一件，Tracing。 一行 mlflow.openai.autolog() 或 mlflow.langchain.autolog()，就能把一次请求里的 prompt、检索、工具调用、token、耗时、成本全抓成一条树。比如用户问「我的订单到哪了」：检索命中哪几段、调了哪个工具、模型返了什么、哪一步慢了 3 秒，每一层都是一个 span，报错连堆栈一起留下。底层走 OpenTelemetry 加 GenAI 语义约定，官方支持 20 多个框架，不绑厂商，接得上你现有的 APM。
第二件，评测。 数据集 + scorer：LLM judge 打主观分（答得准不准、有没有胡编），自定义 scorer 打规则分（格式对不对、有没有引用）。开发时跑离线评测，上线后用同一套打分器继续盯；trace 里挑出来的坏例子，可以直接变成评测集的一条。
第三件，Prompt Registry。 用 git 那套思路管 prompt：commit 版本、不可变、alias 做 A/B 和回滚，模板支持 {{变量}}。改 prompt 不用再改代码重新发版，也能回答「上周那版为什么更好」。
第四件，上线和治理。 Agent Server 用 FastAPI 把 Agent 挂到 /invocations，@invoke/@stream 注册函数，兼容 Responses API schema，自动接 tracing（要 mlflow>=3.6）。AI Gateway 则把各家模型的 key 收在一处，做流量切分、失败回退、预算告警和 guardrail，换模型不用改业务代码。
三、上手
pip install -U mlflow
mlflow server --backend-store-uri postgresql://user:pass@host/mlflow
--artifacts-destination s3://my-bucket/mlflow
import mlflow
mlflow.set_tracking_uri("http://127.0.0.1:5000")
mlflow.set_experiment("agent-demo")
mlflow.openai.autolog() # LangChain 换成 mlflow.langchain.autolog()
跑一遍你的 Agent，UI 的 Traces 里就有东西了。不想先搭服务，uvx mlflow demo 能起一个带示例数据的官方 demo，点两下就明白这套东西在干什么。
四、实话
它不是画布，不帮你生成 Agent，代码还得自己写，而且基本默认 Python。想拖拽就去 Dify，两条路，别指望一个工具全包。
概念偏多：experiment、run、trace、logged model、scorer，第一次进 UI 会懵半小时，建议先照着 quickstart 走一遍再谈接生产。
自托管想正经用，Postgres 加对象存储跑不掉，SQLite 只够本地试水；trace 是长期写入，量大了存储和采样策略要提前想，不然磁盘先扛不住。
在线监控、Unity Catalog 那套治理，完整版在 Databricks 托管服务里，开源版够用但不是全部。Agent Server 是 3.6 才有的，比 tracing 年轻得多，生产上建议再套一层自己的网关或框架。AI Gateway 的预算和 guardrail 也比 LiteLLM、Portkey 这种专职网关浅。
跟 LangSmith、Opik 比：MLflow 赢在开源、能自托管、模型注册和 ML 老资产能一起管；输在 SaaS 体验和前端顺手程度。
适合谁：已经有数据或 ML 团队、要私有化、想把模型和 Agent 放一个平台管的公司。个人周末玩 Agent，Langfuse 那类轻量工具更省事。
