大数据在K8S中调度的探索、实践、思考分享 - 邹斌斌（Kyligence）

1 .⼤数据在K8S中调度的探索、实践和思考 邹斌斌 binbin.zou@kyligence.io 2022.6.1 

2 .Agenda • 调度是⼀⻔学科 • K8S中⼤数据任务调度探索 • K8S中⼤数据任务调度实践 • K8S中⼤数据任务调度思考 

3 .Agenda • 调度是⼀⻔学科 • K8S中⼤数据任务调度探索 • K8S中⼤数据任务调度实践 • K8S中⼤数据任务调度思考 

4 .调度是⼀⻔学科 调度⽆处不在 

5 .调度是⼀⻔学科 调度⽆处不在 

6 .调度是⼀⻔学科 调度⽆处不在 

7 .调度是⼀⻔学科 调度场景各不相同，但⼜各尽相同 

8 .Agenda • 调度是⼀⻔学科 • K8S中⼤数据任务调度探索 • K8S中⼤数据任务调度实践 • K8S中⼤数据任务调度思考 

9 .K8S中⼤数据任务调度探索 为什么是K8S？ 数据访问IO不再是瓶颈 提⾼利⽤率，节约成本是可持 续的根本 ⾼度可扩展性、可运维性是重 要关键 可扩展的弹性扩容、应⽤隔离 性 存算分离是未来 越来越丰富的⽣态 

10 .K8S中⼤数据任务调度探索 为什么是K8S？ Spark2 Flink 1.10 

11 .K8S中⼤数据任务调度探索 为什么要做调度层⾯探索？ 

12 .K8S中⼤数据任务调度探索 Yarn的调度能⼒ 

13 .K8S中⼤数据任务调度探索 K8S Default Scheduler有哪些问题？ coscheduling提案 

14 .K8S中⼤数据任务调度探索 Spark任务K8S的调度器探索 https://github.com/palantir/k8s-spark-scheduler 

15 .K8S中⼤数据任务调度探索 Spark任务K8S的调度器探索 

16 .K8S中⼤数据任务调度探索 Volcano的架构和原理 

17 .K8S中⼤数据任务调度探索 Volcano的架构和原理 

18 .K8S中⼤数据任务调度探索 Volcano的能⼒ • Queue • Job • Tasks • Weight • MinAvailable • Capability • Policies • Guarantee • PriorityClassName • Reclaimable • Queue • PodGroup • MinMember • MinResources • Queue • PriorityClassName 

19 .K8S中⼤数据任务调度探索 Volcano的能⼒ • gang • binpack • drf • overcommit • proportion • rescheduling • priority • sla • nodeorder • tasktopology • predicates • tdm • usage 

20 .Agenda • 调度是⼀⻔学科 • K8S中⼤数据任务调度探索 • K8S中⼤数据任务调度实践 • K8S中⼤数据任务调度思考 

21 .K8S中⼤数据任务调度实践 Spark Operator+Volcano 

22 .K8S中⼤数据任务调度实践 Spark Native Submit+Volcano 

23 .K8S中⼤数据任务调度实践 新体系与CDH的相关计算性能对⽐（TPCDS） CDH vs Default Scheduler Default Scheduler vs Volcano 4500 2500 4000 3500 2000 3000 1500 2500 2000 1000 1500 1000 500 500 0 0 场景1 场景2 场景3 场景4 场景5 场景1 场景2 场景3 CDH De fault Scheduler De fault Scheduler Volcano 

24 .Agenda • 调度是⼀⻔学科 • K8S中⼤数据任务调度探索 • K8S中⼤数据任务调度实践 • K8S中⼤数据任务调度思考 

25 .K8S中⼤数据任务调度思考 调度层⾯（NodeGroup） 

26 .K8S中⼤数据任务调度思考 调度弹性：（Q弹性扩缩容） 

27 .Thank You