《基于Flink的实时计算平台》

1 .基于FLINK的实时计算平台 静⾏行行 邓⼩小勇 阿⾥里里巴巴 ⾼高级技术专家 2018-09 Flink China 

2 .个⼈人介绍 Flink China xiaoyong.dengxy@alibaba-inc.com 2010 — 2013 2013 — 2014 2014 — 2015 2015 — ⾄至今 • 毕业加⼊入阿⾥里里巴巴 • 实时数据同步 • 离线数据同步 • 流计算平台 • 搜索引擎测试 • 实时数据离线处理理 • 分布式DataX • 基于Flink的开发运维 • Dump中⼼心开发 • 实时数据质量量 • 云上数据同步 • 云上实时业务 

3 . Flink China ⽬目录 

4 . Flink China One 整体架构 

5 .整体架构 Flink China Browser SDK ABlink Server DB jar BRS FCS BRS FCS Druid NM NM JM JM JM JM TM TM TM TM Queue RM RM TM TM TM TM TCollector TM TCollector TM Flume Flume 

6 .整体架构 Flink China 

7 . Flink China Two 任务开发 

8 .ABLINK 框架 Flink China BUC UMM RAM STS Web SDK Account Measure & Billing RestAPI Folder Editor Properties/PlanJson BlinkSQL/Blink Table Node File File Lock SQL Validate DB DataStream File Version/ File Cache Code Diff UDF/UDTF/ Resource DataStream jar Dict UDAF jar DataStorage Local Debug Project Node Reference Node Relation OSS File Node Resource Node Node Scheduler Dash Board start Timeline Logic Topo pause Instance Physic Topo resume History/ Code Diff terminate Alarm 

9 .开发截图 Flink China 

10 . Flink China Three 任务运维 

11 .INSTANCE 状态维护 Flink China Instance 

12 .任务DEBUG Flink China CPU in/outQueue CPU — JVM latency recv/sendCount keyGroupRange Physical Logical — delay CPU MEM Resource adjust in/outQueue — optimize 

13 .运维截图 Flink China 

14 .FCS的设计与实现 Flink China • Flink任务的启停 • Yarn的管理理 • 智能调优 • Jar包等资源缓存 • 集群状态监控 

15 . Flink China Four 发展规划 

16 .ABLINK平台化（内部） Flink China IoT 

17 .FCS开源 Flink China Flink Cluster FCS API standalone/YARN Session 

18 .Thanks