简介
Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。并且支持中文界面。
目前,DolphinScheduler 已经是业界知名的分布式可视化大数据工作流调度系统,被联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等诸多公司使用
支持的任务类型(红颜色为常用的任务类型)
- Shell:linux脚本,可执行JAVA任务
- Dependent:任务依赖
- Stored Procedure:存储过程
- Hive CLI:执行HIve SQL
- SQL:jdbc连接关系数据库执行SQL
- Spark:Spark任务
- MapReduce
- Python/ target=_blank class=infotextkey>Python
- Flink
- DataX
- Appendix
- HTTP
- Pigeon
- Conditions
- Switch
- SeaTunnel
- Amazon EMR
- Apache Zeppelin
- Jupyter
- Kube.NETes
- MLflow
- Openmldb
- DVC
- Dinky
- SageMaker
- ChunJun
- Pytorch
- SubProcess
核心功能1-任务配置
- 点击工作流定义->创建工作流定义->上线工作流定义
核心功能2-日志查看
运行工作流定义->点击工作流实例->点击工作流实例名称->双击任务节点->查看任务执行日志
核心功能3-告警配置
支持邮件、短信、钉钉、微信等告警方式