Airflow

活跃
GitHub Python Apache-2.0

简介

Apache 出品的工作流编排平台,行业标准 ETL 方案。

核心特性

  • DAG 模型 — 显式定义依赖
  • 丰富 Operator — 200+ 内置
  • 可扩展 — 自定义 Operator 容易
  • K8s 集成 — KubernetesExecutor 原生
  • 可视化 — 任务状态一目了然

适用场景

💡 为数据团队提供企业级 ETL 编排。
💡 为 LLM 工作流加调度与依赖管理。
💡 为 ML pipeline 提供模型训练与发布流程。

快速开始

# 安装
pip install apache-airflow
# 初始化数据库
airflow db init
# 启动 webserver 与 scheduler
airflow webserver -p 8080 &
airflow scheduler

相关项目