Dagster 是什么?1.64 万星的资产式编排平台,被 Prefect 收购四个月还在按周发版(基础篇)

Dagster 是什么?1.64 万星的资产式编排平台,被 Prefect 收购四个月还在按周发版(基础篇)

编排工具这几年有个怪现象:功能越堆越多,离数据本身越来越远。Airflow 让你写 DAG,任务跑完就算成功,至于产出的那张表对不对、上游多久没刷新过,它不管。

Dagster 走的是另一条路——先声明「应该存在哪些数据资产」,再让系统自己算怎么把它们做出来。这条路在 2026 年 7 月走到一个节点:Prefect 宣布收购 Dagster Labs。四个月过去,仓库还在按周发版,交割公告却一直没发。这篇把它是什么、怎么上手、坑在哪说清楚。

Dagster 是什么

一句话:Dagster 是 asset-first(资产优先)的编排平台,2018 年由 GraphQL 联合创造者 Nick Schrock 创立,Apache-2.0,现在挂在 Dagster Labs 名下(公司原名 Elementl,2023 年 8 月改名)。

跟 Airflow 的差别不在界面,在心智模型。Airflow 里你定义 task,task 是一个动作;Dagster 里你定义 asset,asset 是一张表、一个文件、一个模型产物。动作是手段,产物是目的。所以在 Dagster 里你问的是「orders 这张表今天刷没刷、上游改了会不会脏」,而不是「这个 task 几点跑」。

自托管一套 Dagster,跑起来是三个长驻服务,这点官方 OSS 部署文档写得很死:

  • dagster-webserver:出 UI 和 GraphQL 接口,可以多副本;
  • dagster-daemon:跑 schedule、sensor、run 排队,官方明确不支持多副本,这是它最大的运维软肋;
  • code location server:把你的 Python 定义用 gRPC 暴露出去,一个 code location 只能一个副本。

存储默认是 SqliteRunStorage,上生产换 Postgres,写在 dagster.yaml 里。执行器、run launcher、IO manager 全是可替换组件——这句话是 Dagster 最大的优点,也是最大的门槛。

Dagster 架构图:代码定义、运行时与 Agent 入口三层
Dagster 的三层:定义文件、自托管运行时、Agent 入口。灰框是两种部署形态的真实分界

2026 年的两件事

第一件在 4 月 9 日,1.13 版本。三个变化值得记:分区级的 asset check(校验粒度终于跟数据粒度对齐)、virtual assets 进 preview、以及一套开源的 AI skills(dagster-io/skills),能装进 Claude Code、Cursor、Codex,教编码 Agent 按 Dagster 的写法出代码,而不是甩给你一堆 Airflow 风格的 task。

第二件在 7 月 13 日。Prefect 创始人 Jeremiah Lowin 和 Dagster 创始人 Nick Schrock 同一天各发一封公开信,宣布 Prefect 收购 Dagster Labs。给用户的具体承诺是:品牌保留、Apache-2.0 保留、Dagster+ 定价不变、约 40 人团队并入 Prefect、两位创始人转任战略顾问。

但我翻到 11 月初,没找到任何一方发布交割完成的公告。Dagster 官网横幅写着「Dagster is now part of Prefect」,客户 FAQ 却还写着「预计未来几周交割」。这两句话放在一起是矛盾的——真要签约续费,对面那个法律主体现在仍然是 Dagster Labs。

更硬的证据是发版节奏:1.13.27(10 月 26 日)、1.13.28(10 月 30 日)、1.13.29(11 月 5 日)、1.13.30(11 月 12 日),一周一版没停过。所以「被收购」对今天动手的人不构成阻碍,但也不能当成已经落定。顺带一句,Prefect 那套三层叙事我在这篇里拆过:Dagster 定产出、Prefect 跑执行、FastMCP 管访问。

Agent 从哪儿插进来

这是 Dagster 和 Airflow 在 2026 年最实质的差别。它开了三条道:

  1. Dagster+ MCP Server。地址 mcp.agent.dagster.cloud(欧洲区 mcp.agent.eu.dagster.cloud),支持 OAuth。接进 Claude Code 之后,Agent 能查 run、看日志、列 asset、起 backfill、改告警策略。按官方权限表:run 能查、能起、能终止,asset 能查、能建,deployment 只读,Issue 全读写。
  2. dagster-io/skills。npx skills add dagster-io/skills 一行装完。这东西的价值不在生成代码,在于让 Agent 别把 asset 写成 task。
  3. Dagster+ AI。只在高档套餐:对话式排障、主动扫部署生成 Issue、从 Issue 直接派一个编码 Agent 去开 PR。

说人话:Airflow 是「Agent 的调度器」,Dagster 想当「Agent 的目标账本」——不只记录跑了什么,还记录应该有什么、现在差多少。这个差别在纯 ETL 场景里不明显,一旦 Agent 开始自己决定跑什么,账本就比调度器重要。

上手:十分钟够了

要求 Python 3.11+,推荐用 uv:

uvx create-dagster@latest project dagster-quickstart
cd dagster-quickstart && source .venv/bin/activate
uv add pandas
dg scaffold defs dagster.asset assets.py
dg list defs     # 先看定义有没有被认出来
dg dev           # UI 起在 localhost:3000

一个最小 asset 长这样:

import dagster as dg

@dg.asset
def orders():
    return load_orders()

@dg.asset(deps=[orders])
def daily_summary(orders):
    return summarize(orders)

没写 DAG,没画依赖图,asset 之间的依赖靠函数参数名匹配推出来。这是它上手最舒服的地方:你写的是普通 Python,Dagster 在旁边加了一层元数据。

实话

一、概念密度高。 asset、partition、IO manager、resource、code location、component、freshness policy,这套词得花一周才顺。你要是只想每天拉一次接口写进库,cron 加一个脚本更省事,别硬上。

二、自托管运维不便宜。 三个服务加一个 Postgres,daemon 还不让横向扩,机器一挂调度就停。上云就是 Dagster+:Solo 每月 10 美元、Starter 每月 100 美元、Pro 面谈;AI 对话、Issues、自动改 PR 全锁在 Pro,MCP 到现在还标着 Preview。

三、生态偏欧美。 dbt、Snowflake、BigQuery、Databricks 是一等公民,国内 Hive、StarRocks、Doris 的 IO manager 得自己写,文档全英文,社区在 Slack。

四、收购的尾巴没剪干净。 官方说没有把 Dagster 并进 Prefect 的计划,但计划这东西,交割之后才算数。真要长线押注,盯两件事就够了:交割公告,以及 Prefect 发布的第一份 Dagster 路线图。

谁该看它

数据团队超过三个人、表超过一百张、已经被「这张表为什么空着」问过三次的,值得花一周学 Dagster——它把「应该有什么」变成了能查的东西,这比多一个调度器值钱。

一个人维护三五个脚本的,cron 就够;只想要 Agent 按流程跑活的,去看 Kestra 或者 n8n;还想要动态分支、函数即任务的,那是 Prefect 的地盘。同一个赛道里,Airflow 3.4 代表的是旧范式,Dagster 代表的是新账本,先想清楚你要的是执行还是对账。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注