Dagster
活跃简介
新一代数据资产编排平台，支持 AI 工作流和数据管道的开发、生产部署与可观测性管理，内置资产定义、调度和监控能力。
核心特性
- 声明式资产编程模型，将数据管道定义为 Python 函数
- 内置血缘图谱，支持数据质量检查和依赖追踪
- Web UI 提供实时管道监控、调度和资产健康仪表板
- 丰富的集成库，覆盖云数据仓库、编排工具和 ML 框架
- 支持 CI/CD 最佳实践，本地开发、单元测试与生产环境保持一致
- 多租户编排引擎，具备内置可观测性，可随组织规模扩展
适用场景
💡 构建和维护跨云数据仓库的 ETL/ELT 管道
💡 编排机器学习模型的训练、评估和部署工作流
💡 定义和追踪数据资产血缘以满足合规要求
💡 协调多步骤数据处理任务，支持调度和重试
💡 通过集中监控管理复杂的数据平台基础设施
分类
快速开始
通过 `uv add dagster dagster-webserver dagster-dg-cli` 安装。将资产定义为装饰的 Python 函数，加载到 Dagster UI 中，使用 `dagster dev` 启动带有 Web 界面的本地开发服务器。