展开查看详情
1 .从JStorm到Flink：腾讯实时流计算平台的建设与实践
演讲人：杜立
2019 中国数据智能管理峰会
2 .目录
01 02 03 04
腾讯实时计算概况 Oceanus平台介绍 开源特性增强 流计算业务实践
2019 中国数据智能管理峰会
3 .实时计算业务赋能
2019 中国数据智能管理峰会
4 .腾讯实时计算规模
2.1亿/秒 20万亿 3PB
峰值消息处理 日均消息总条数 日均消息总大小
2019 中国数据智能管理峰会
5 . JStorm到Flink的演进历程
2017.03 2018.01 2019.03
Flink框架预研，JStorm上K8S Flink产品化 Oceanus场景化建设
新框架调研，评估Flink替代JStorm 开始建设基于Flink的一站式流计算 打造内部Oceanus生态，完善场
的可行性，包括：功能、性能等的 平台Oceanus，并针对性优化社区 景化服务，上线在线ML，开始
对比。此时所有的流计算任务全部 Flink On Yarn模式的部分功能。 建设秒级监控等平台。
由JStorm承载，且继续演进新版本。
2017.09 2018.09
Flink开源版本增强，业务迁移 Oceanus平台上线
针对内部场景，部分改造优化开源 实时流计算平台规模化接入腾讯内部业务(覆
版本，开始迁移部分JStorm上的任 盖所有BG)、TBDS客户，上线公有云。开始
务，以standalone模式运行 批量迁移存量JStorm的任务到Oceanus。内
部宣布JStorm版本不再演进。
2019 中国数据智能管理峰会
6 .目录
01 02 03 04
腾讯实时计算概况 Oceanus平台介绍 开源特性增强 流计算业务实践
2019 中国数据智能管理峰会
7 .Oceanus实时计算平台
2019 中国数据智能管理峰会
8 .平台建设重点
一站式 提供完善的上下游数据生态，形成从接入、处理，到应用的数据闭环。
借助平台的应用调试、丰富的实时指标数据、配置化告警等功能，实
自助化 现监控、运维自助化。
可视化 不仅通过平台Web页面可轻松查看指标、打点日志等数据，同时对调
试结果，应用输出等，都提供了可视化的方式。
持续增强 结合业务实践，持续优化既有能力，并且迭代新功能；在满足自身客
户需求的同时，适时回馈社区。
2019 中国数据智能管理峰会
9 .Oceanus-提交计算任务
配置元数据 创建DAG 编译提交
2019 中国数据智能管理峰会
10 .Oceanus-在线调试
2019 中国数据智能管理峰会
11 .Oceanus-指标统计
2019 中国数据智能管理峰会
12 .Oceanus-并行度调整
2019 中国数据智能管理峰会
13 .Oceanus-自助诊断
2019 中国数据智能管理峰会
14 .Oceanus-告警配置
2019 中国数据智能管理峰会
15 .目录
01 02 03 04
腾讯实时计算概况 Oceanus平台介绍 开源特性增强 流计算业务实践
2019 中国数据智能管理峰会
16 .可靠性提升
2019 中国数据智能管理峰会
17 .Increment Window
Event
e e e e e e e e ……..
e e e e
5min 5min …….. 5min
R(n) = R(n-1) + delta R(n+1) = R(n) + delta R(n+m) = R(n+m-1) + delta
Sink R(n) Sink R(n+1) Sink R(n+m)
24h
Purge R(n+m)
2019 中国数据智能管理峰会
18 .Enhanced Window
Window
Current
t t t t watermark 大于
Event
小于(丢弃)
Window
Current
t t t t watermark 大于
Event
小于
2019 中国数据智能管理峰会
19 .LocalKeyBy
4
5 5 4
4
5
Source -> KeyBy -> Window -> Sum -> Sink
3 1 4
3 2 2
2 3 5 5 4
4
1 3 3
3 2 5
Source -> LocalKeyBy -> Sum -> Window -> KeyBy -> Sum -> Sink
2019 中国数据智能管理峰会
20 .(Local)KeyBy对比
2019 中国数据智能管理峰会
21 .Flink指标及UI重构
2019 中国数据智能管理峰会
22 .目录
01 02 03 04
腾讯实时计算概况 Oceanus平台介绍 开源特性增强 流计算业务实践
2019 中国数据智能管理峰会
23 .实时ETL
2019 中国数据智能管理峰会
24 .实时统计分析
2019 中国数据智能管理峰会
26 .机器学习-在线训练
2019 中国数据智能管理峰会
27 .机器学习-在线推理
2019 中国数据智能管理峰会
28 . THANK YOU!
2019 中国数据智能管理峰会
热门城市
