分布式作业管理平台-让作业提交变得更简单

1 .分布式作业管理平台 -让作业提交变得更简单 李杰 奇安信安全大数据中心 lijie05@qianxin.com 2020-07-25 www.qianxin.com 

2 .NOW bin/flink run … Java/scala/python Build jar/Fat Jar 监控报警 bin/spark-submit… 1 2 3 4 下载 idea Maven 依赖问题 每个集群需要部署一个客户端，流程长 每个业务实现一套 学习 maven Jar 包很大 客户端更新困难 … 熟悉 api Jar 包管理困难 客户端所在机器挂掉后无法使用 … … 各种权限问题 多人共用一个客户端 命令可读性差，维护困难 调度方式 crontab Jar 包跨机房上传慢 … 

3 .DolphinScheduler-WHY？ 

4 .DolphinScheduler-WHY？ 任务失败重试/告警 你想重试几次 每次间隔多久 失败 要不要发邮件告诉你？ 各种复杂调度 5 资源文件的在线上传/下载，管理 定时调度、依赖调度、手动调度 4 6 jar 包不怕丢 丰富的任务类型 实现集群高可用 spark shell MR HIVE python… 3 7 集群去中心化 工作流 可视化 支持多租户 拖拽生成 DAG 2 8 咱俩不能用一个账号 分布式易扩展 无单点问题 1 9 权限管理 我只能访问授权的项目和资源 资源不够了要扩容 

5 .HOW？ DolphinScheduler 分布式易扩展的可视化 DAG 工作流任务调度系统 Spark 批处理作业，包含sql作业 Flink 流处理作业， stream sql 作业 

6 .01 DolphinScheduler 概述 02 DolphinScheduler 扩展 03 DolphinScheduler 实践 

7 .01 DolphinScheduler 概述 

8 .DolphinScheduler-首页 

9 .DolphinScheduler-首页 

10 .DolphinScheduler-上传资源 

11 .DolphinScheduler-创建数据源 

12 .DolphinScheduler-创建工作流 

13 .DolphinScheduler-创建工作流 

14 .DolphinScheduler-创建工作流 

15 .DolphinScheduler-定时运行设置 

16 .DolphinScheduler-运行 

17 .DolphinScheduler-甘特图 

18 .DolphinScheduler-树形图 

19 .DolphinScheduler-权限 

20 .DolphinScheduler-架构 

21 .02 DolphinScheduler 扩展 

22 .DolphinScheduler-扩展 支持提交 flink 作业 YARN 相关计算无需 再申请机器账号 支持多集群 同用户组共享工作流 

23 .DolphinScheduler-扩展-支持提交 flink 作业 支持选择启动时的 savepoint 支持多版本 支持指定动态依赖包 支持指定自己的 log4j 文件 支持界面停止flink作业 

24 .DolphinScheduler-扩展-支持提交 flink 作业 Flink作业界面 

25 .DolphinScheduler-扩展-支持提交 flink 作业 支持多版本 

26 .DolphinScheduler-扩展-支持提交 flink 作业 支持指定动态依赖包&日志配置 

27 .DolphinScheduler-扩展-支持提交 flink 作业 支持选择启动时的 savepoint 

28 .DolphinScheduler-扩展-支持提交 flink 作业 支持界面停止flink作业 

29 .DolphinScheduler-扩展-同组用户共享一切 • 资源 • 项目 • 工作流 • 作业管理