面向分析师的调度系统 刘涛

1 .面向分析师的调度系统 ——刘涛 

2 . 01 平台现状 02 分析师的期望 03 Airflow中的实现方式 04 Ds的改造与airflow任 目录 务迁移 

3 . 一、平台现状 数据源 数据接入 数据加工 数据落地 数据应用 配置调度 日志 Hive宽表 Hive离线T Hadoop 加1采集 离线平台 配置依赖 Hue 拉链表 、10分钟合 Clickhouse 网易有数 实时搜集 并一次主表 Sql开发 数据库 Flink 实时处理 

4 .二、分析师的期望 

5 .三、Airflow中的实现方式 Airflow中hivepartitionsensor 

6 .

7 .四、Ds的改造与airflow任务迁移 数据依赖与任务依赖 最好是:对分析师展示的数据依赖，底层调度用的是任务依赖 

8 .如何根据一端sql，判断出 这段sql的输入输出表？ 

9 . HiveOL Task 语法、词义解析 语法、词义解析 AST Task 语义解析 语义解析 QureyBlock OperatorTree 生成逻辑执行计划 生成逻辑执行计划 OperatorTree 词法、语法解析：Antlr定义SQL的语法规则，完成SQL词法、语法解析，将SQL转化为抽象语法树AST Tree 

10 . IdentifiersParser.g HintParse.g 函数、group by、order by、case when等的解析 hive的hint语法解析， 即手动mapjoin的语法 ResourcePlanParser.g HiveLexer.g 提供token定义 resource、plan相关语法解析 做词法分析，定义 了所有用到的token SelectClauseParser.g HiveParser.g import Select从句语法解析 语法分析总入口 FromClauseParser.g From从句语法解析（包括join、union等） 这些规则文件均位于ql\src\java\org\apache\hadoop\hive\ql\parse目录下 

11 .

12 .https://issues.apache.org/jira/browse/HIVE-147 

13 .如何把airflow的调度平滑 迁移到ds中？ 

14 .Scheduler DagFileProcessorAgent dags_folder 1:1 1:1 DagFileProcessorManager DagFileProcessorManager 1:n 1:1 DagFileProcessorManager 

15 .THANK YOU 欢迎加入我们！！