Apache Airflow 3.4 是什么?4.7 万星的调度老炮,把 Agent 拆成一个个能重跑的任务(基础篇)

Apache Airflow 3.4 是什么?4.7 万星的调度老炮,把 Agent 拆成一个个能重跑的任务(基础篇)

11 月 6 日,Apache Airflow 发了 3.4.0。这个 2014 年在 Airbnb 内部起笔的调度器,现在是 47,428 星(11 月 10 日拉的数据)、Apache-2.0,最后一次提交就在几小时前。这次它没喊「Agent 平台」的口号,干的事更朴素:把你的一次模型调用、一个会自己挑工具的 Agent,变成 DAG 里一个有名有姓、能重试、能等人批、能在 UI 上点开看日志的 task。

为什么值得单独写一篇?因为你用画布平台或者自己写个 while 循环跑 Agent,出事后最难回答的三个问题永远是:它卡在哪一步、重跑会不会重复花钱、上周那次到底谁批的。Airflow 十几年就在回答这三个问题,只是以前回答的对象是数据管道。

一、先把骨架说清楚

Airflow 的核心只有三件事:DAG 描述依赖,scheduler 按时间和依赖触发,worker 真正干活。所有状态落在元数据库里——PostgreSQL 14 到 18 或 MySQL 8.0/8.4,SQLite 只能开发用,MariaDB 官方明确不支持。

3.x 之后组件切得更细:DAG processor 是独立进程,负责解析 DAG 文件,scheduler 永远不加载 DAG 里的代码,别人写错 DAG 拖不死调度器;API server 同时承担 UI、REST 和 task SDK 的状态回传。官方建议 4GB 内存起,Python 3.11 到 3.14,生产只认 Linux。

Apache Airflow 3.4 架构图:DAG 文件经 DAG Processor 解析写入元数据库,Scheduler 派发任务给 Worker,Worker 运行 common.ai 的 AgentOperator,模型连接与工具集在部署之外,人审通过 API Server 的 Required Actions 页面审批
Airflow 3.4 的执行骨架:调度归调度,AI 任务只是挂在 Worker 上的一个 task,人审走 API Server 的 Required Actions。

二、3.4 给 Agent 补的三块

Task Loops(AIP-111)。以前想在 DAG 里循环,要么写死层数,要么让 DAG 触发自己。现在有原生的有界循环,官方示例就是 generate → score → refine,最多五轮,人可以在第三轮改一版再放行。

DAG 不再只能写 Python。TypeScript、Java、Go 的 SDK 转正,外加一个 YAML importer(AIP-85):uses 指定算子、run 跑代码、needs 声明依赖,不写一行 Python 也能建 DAG。

common.ai 到 1.1.0 GA。这块是重点。它基于 pydantic-ai,把模型调用变成普通算子:@task.llm / LLMOperator 做单次调用,@task.agent / AgentOperator 跑会自己调工具的 Agent,另有 LLMBranchOperator 让模型挑下一个 task、LLMSQLQueryOperator 做自然语言转 SQL,以及批处理和文件分析算子。

人审是这次最实用的部分。Agent 可以在执行工具调用前停下来等人批准,也可以等人批最终答案;任务停在 3.3 引入的 awaiting_input 状态,不占 triggerer、也不占 worker slot,直接出现在 Required Actions 页面,批了就继续,驳回就把意见回给 Agent。

几个容易被忽略但很实在的开关:durable=True 让重跑时直接重放已完成的调用;usage_limits 把同一个 task instance 的所有尝试算在一起,超了直接失败;fallback_conn_ids 在主供应商挂掉时按顺序切下一个;LLMBatchOperator 走 OpenAI/Anthropic 的批处理接口,官方说大约省一半 token 钱;工具集带表白名单、只读 SQL 和结果脱敏,模型看到的是过了 Airflow secrets masker 的数据。

三、上手:Docker 起一套,写个要人批的 DAG

最快的路子还是官方 compose 文件:

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/3.4.0/docker-compose.yaml'
docker compose up -d

不想用 Docker 就 pip install apache-airflow==3.4.0,记得挂官方 constraints 文件,不然依赖能给你装出一堆惊喜。

一个最小的、带人审的 DAG:

from airflow.sdk import dag, task

@dag(schedule="@daily", tags=["agent"])
def release_digest():
    @task.llm(llm_conn_id="pydanticai_default",
              system_prompt="你只写要点,不超过三条。",
              require_approval=True)
    def summarize(notes: str):
        return f"把这份记录压成三条:n{notes}"

    @task
    def publish(summary: str):
        print(summary)

    publish(summarize("..."))

pydanticai_default 是一个连接,指向 OpenAI、Anthropic、Google、Bedrock 或者你自己起的兼容服务。换模型改连接就行,DAG 不用动。

四、实话:它不适合所有人

第一,它不是画布。Dify、n8n 那种拖拽在这里没有,写代码是主入口,YAML 也只是配置。想让业务同学自己搭流程,别选它。

第二,3.4 才四天。官方发布说明里自己写了:语言 SDK、DAG Importer 框架和部分 common.ai 的预览功能仍是 experimental,升上去要 pin 死版本。

第三,人审有两种,代价不一样。工具调用审批不占 worker;但 enable_hitl_review=True 的聊天式评审会一直占着 worker slot,而且工具审批和 durable=True 或 enable_hitl_review=True 同开会直接失败。

第四,重试不等于幂等。Airflow 能保证不重复调用已经完成的步骤,但你的工具要能扛住「上一次其实已经写进去了」——发邮件、退款、写生产表,都得自己做幂等键。

第五,它重。一套生产环境是 Postgres 加四五个组件,为了跑两个 Agent 任务上 Airflow,是拿卡车送外卖。

怎么选

想要「画个流程给业务用」,看 Dify;想要「Agent 崩了从断点续跑、不重复扣钱」,Hatchet、Temporal 这类耐久执行引擎更专;Airflow 的强项是「这一步几点跑、跑了几次、谁批的、花了多少 token」全在一张表里,而这张表你可能已经维护了十年。三层分工可以对照这张横向地图,账单口径看计费横评。

一句话:如果你本来就在用 Airflow 跑数据管道,3.4 让 Agent 有了正经工位;如果你只是想让 Agent 干点活,先别搬这台卡车。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注