11 月 6 日,Apache Airflow 发了 3.4.0。这个 2014 年在 Airbnb 内部起笔的调度器,现在是 47,428 星(11 月 10 日拉的数据)、Apache-2.0,最后一次提交就在几小时前。这次它没喊「Agent 平台」的口号,干的事更朴素:把你的一次模型调用、一个会自己挑工具的 Agent,变成 DAG 里一个有名有姓、能重试、能等人批、能在 UI 上点开看日志的 task。
为什么值得单独写一篇?因为你用画布平台或者自己写个 while 循环跑 Agent,出事后最难回答的三个问题永远是:它卡在哪一步、重跑会不会重复花钱、上周那次到底谁批的。Airflow 十几年就在回答这三个问题,只是以前回答的对象是数据管道。
一、先把骨架说清楚
Airflow 的核心只有三件事:DAG 描述依赖,scheduler 按时间和依赖触发,worker 真正干活。所有状态落在元数据库里——PostgreSQL 14 到 18 或 MySQL 8.0/8.4,SQLite 只能开发用,MariaDB 官方明确不支持。
3.x 之后组件切得更细:DAG processor 是独立进程,负责解析 DAG 文件,scheduler 永远不加载 DAG 里的代码,别人写错 DAG 拖不死调度器;API server 同时承担 UI、REST 和 task SDK 的状态回传。官方建议 4GB 内存起,Python 3.11 到 3.14,生产只认 Linux。
二、3.4 给 Agent 补的三块
Task Loops(AIP-111)。以前想在 DAG 里循环,要么写死层数,要么让 DAG 触发自己。现在有原生的有界循环,官方示例就是 generate → score → refine,最多五轮,人可以在第三轮改一版再放行。
DAG 不再只能写 Python。TypeScript、Java、Go 的 SDK 转正,外加一个 YAML importer(AIP-85):uses 指定算子、run 跑代码、needs 声明依赖,不写一行 Python 也能建 DAG。
common.ai 到 1.1.0 GA。这块是重点。它基于 pydantic-ai,把模型调用变成普通算子:@task.llm / LLMOperator 做单次调用,@task.agent / AgentOperator 跑会自己调工具的 Agent,另有 LLMBranchOperator 让模型挑下一个 task、LLMSQLQueryOperator 做自然语言转 SQL,以及批处理和文件分析算子。
人审是这次最实用的部分。Agent 可以在执行工具调用前停下来等人批准,也可以等人批最终答案;任务停在 3.3 引入的 awaiting_input 状态,不占 triggerer、也不占 worker slot,直接出现在 Required Actions 页面,批了就继续,驳回就把意见回给 Agent。
几个容易被忽略但很实在的开关:durable=True 让重跑时直接重放已完成的调用;usage_limits 把同一个 task instance 的所有尝试算在一起,超了直接失败;fallback_conn_ids 在主供应商挂掉时按顺序切下一个;LLMBatchOperator 走 OpenAI/Anthropic 的批处理接口,官方说大约省一半 token 钱;工具集带表白名单、只读 SQL 和结果脱敏,模型看到的是过了 Airflow secrets masker 的数据。
三、上手:Docker 起一套,写个要人批的 DAG
最快的路子还是官方 compose 文件:
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/3.4.0/docker-compose.yaml'
docker compose up -d
不想用 Docker 就 pip install apache-airflow==3.4.0,记得挂官方 constraints 文件,不然依赖能给你装出一堆惊喜。
一个最小的、带人审的 DAG:
from airflow.sdk import dag, task
@dag(schedule="@daily", tags=["agent"])
def release_digest():
@task.llm(llm_conn_id="pydanticai_default",
system_prompt="你只写要点,不超过三条。",
require_approval=True)
def summarize(notes: str):
return f"把这份记录压成三条:n{notes}"
@task
def publish(summary: str):
print(summary)
publish(summarize("..."))
pydanticai_default 是一个连接,指向 OpenAI、Anthropic、Google、Bedrock 或者你自己起的兼容服务。换模型改连接就行,DAG 不用动。
四、实话:它不适合所有人
第一,它不是画布。Dify、n8n 那种拖拽在这里没有,写代码是主入口,YAML 也只是配置。想让业务同学自己搭流程,别选它。
第二,3.4 才四天。官方发布说明里自己写了:语言 SDK、DAG Importer 框架和部分 common.ai 的预览功能仍是 experimental,升上去要 pin 死版本。
第三,人审有两种,代价不一样。工具调用审批不占 worker;但 enable_hitl_review=True 的聊天式评审会一直占着 worker slot,而且工具审批和 durable=True 或 enable_hitl_review=True 同开会直接失败。
第四,重试不等于幂等。Airflow 能保证不重复调用已经完成的步骤,但你的工具要能扛住「上一次其实已经写进去了」——发邮件、退款、写生产表,都得自己做幂等键。
第五,它重。一套生产环境是 Postgres 加四五个组件,为了跑两个 Agent 任务上 Airflow,是拿卡车送外卖。
怎么选
想要「画个流程给业务用」,看 Dify;想要「Agent 崩了从断点续跑、不重复扣钱」,Hatchet、Temporal 这类耐久执行引擎更专;Airflow 的强项是「这一步几点跑、跑了几次、谁批的、花了多少 token」全在一张表里,而这张表你可能已经维护了十年。三层分工可以对照这张横向地图,账单口径看计费横评。
一句话:如果你本来就在用 Airflow 跑数据管道,3.4 让 Agent 有了正经工位;如果你只是想让 Agent 干点活,先别搬这台卡车。