杜立 - 从JStorm到Flink：腾讯实时流计算平台的建设与实践

1 .从JStorm到Flink：腾讯实时流计算平台的建设与实践 演讲人：杜立 2019 中国数据智能管理峰会 

2 .目录 01 02 03 04 腾讯实时计算概况 Oceanus平台介绍 开源特性增强 流计算业务实践 2019 中国数据智能管理峰会 

3 .实时计算业务赋能 2019 中国数据智能管理峰会 

4 .腾讯实时计算规模 2.1亿/秒 20万亿 3PB 峰值消息处理 日均消息总条数 日均消息总大小 2019 中国数据智能管理峰会 

5 . JStorm到Flink的演进历程 2017.03 2018.01 2019.03 Flink框架预研，JStorm上K8S Flink产品化 Oceanus场景化建设 新框架调研，评估Flink替代JStorm 开始建设基于Flink的一站式流计算 打造内部Oceanus生态，完善场 的可行性，包括：功能、性能等的 平台Oceanus，并针对性优化社区 景化服务，上线在线ML，开始 对比。此时所有的流计算任务全部 Flink On Yarn模式的部分功能。 建设秒级监控等平台。 由JStorm承载，且继续演进新版本。 2017.09 2018.09 Flink开源版本增强，业务迁移 Oceanus平台上线 针对内部场景，部分改造优化开源 实时流计算平台规模化接入腾讯内部业务(覆 版本，开始迁移部分JStorm上的任 盖所有BG)、TBDS客户，上线公有云。开始 务，以standalone模式运行 批量迁移存量JStorm的任务到Oceanus。内 部宣布JStorm版本不再演进。 2019 中国数据智能管理峰会 

6 .目录 01 02 03 04 腾讯实时计算概况 Oceanus平台介绍 开源特性增强 流计算业务实践 2019 中国数据智能管理峰会 

7 .Oceanus实时计算平台 2019 中国数据智能管理峰会 

8 .平台建设重点 一站式 提供完善的上下游数据生态，形成从接入、处理，到应用的数据闭环。 借助平台的应用调试、丰富的实时指标数据、配置化告警等功能，实 自助化 现监控、运维自助化。 可视化 不仅通过平台Web页面可轻松查看指标、打点日志等数据，同时对调 试结果，应用输出等，都提供了可视化的方式。 持续增强 结合业务实践，持续优化既有能力，并且迭代新功能；在满足自身客 户需求的同时，适时回馈社区。 2019 中国数据智能管理峰会 

9 .Oceanus-提交计算任务 配置元数据 创建DAG 编译提交 2019 中国数据智能管理峰会 

10 .Oceanus-在线调试 2019 中国数据智能管理峰会 

11 .Oceanus-指标统计 2019 中国数据智能管理峰会 

12 .Oceanus-并行度调整 2019 中国数据智能管理峰会 

13 .Oceanus-自助诊断 2019 中国数据智能管理峰会 

14 .Oceanus-告警配置 2019 中国数据智能管理峰会 

15 .目录 01 02 03 04 腾讯实时计算概况 Oceanus平台介绍 开源特性增强 流计算业务实践 2019 中国数据智能管理峰会 

16 .可靠性提升 2019 中国数据智能管理峰会 

17 .Increment Window Event e e e e e e e e …….. e e e e 5min 5min …….. 5min R(n) = R(n-1) + delta R(n+1) = R(n) + delta R(n+m) = R(n+m-1) + delta Sink R(n) Sink R(n+1) Sink R(n+m) 24h Purge R(n+m) 2019 中国数据智能管理峰会 

18 .Enhanced Window Window Current t t t t watermark 大于 Event 小于(丢弃) Window Current t t t t watermark 大于 Event 小于 2019 中国数据智能管理峰会 

19 .LocalKeyBy 4 5 5 4 4 5 Source -> KeyBy -> Window -> Sum -> Sink 3 1 4 3 2 2 2 3 5 5 4 4 1 3 3 3 2 5 Source -> LocalKeyBy -> Sum -> Window -> KeyBy -> Sum -> Sink 2019 中国数据智能管理峰会 

20 .(Local)KeyBy对比 2019 中国数据智能管理峰会 

21 .Flink指标及UI重构 2019 中国数据智能管理峰会 

22 .目录 01 02 03 04 腾讯实时计算概况 Oceanus平台介绍 开源特性增强 流计算业务实践 2019 中国数据智能管理峰会 

23 .实时ETL 2019 中国数据智能管理峰会 

24 .实时统计分析 2019 中国数据智能管理峰会 

25 .监控告警 2019 中国数据智能管理峰会 

26 .机器学习-在线训练 2019 中国数据智能管理峰会 

27 .机器学习-在线推理 2019 中国数据智能管理峰会 

28 . THANK YOU! 2019 中国数据智能管理峰会