数字广东数据集成平台从Datax到SeaTunnel的演进之路

1 .Apache SeaTunnel政务数据 交换业务场景实践专场 数据集成平台从Datax到SeaTunnel的 演进之路 孟小鹏 8月15号 

2 . 01 背景介绍 02 数据同步痛点 CONTENT 03 演进之路-技术选型 04 未来展望 

3 .01 背景介绍 

4 .公司介绍 产品介绍 

5 .公司介绍 

6 .产品介绍 

7 .特色场景介绍 

8 .特色场景介绍 

9 .02 数据同步痛点 

10 .离线数据同步痛点 实时数据同步痛点 

11 .离线数据同步痛点 生态不足 sybase dameng gbase 

12 .离线数据同步痛点 兼容性 不足 LONGBLOB BLOB VARBINARY 

13 .离线数据同步痛点 性能不足 表模式 自定义SQL 多通道能力 单通道能力 

14 .离线数据同步痛点 横向扩展 单机瓶颈 单节点性能 

15 .整体解决方案 gbase sybase- sbase varbinary greenplum mysql-blod 分布式 sqlserver 增量任务 15+数据兼容 mysql 数据源丰富 架构升级 任务模式 数据类型优化兼容 多版本支持 

16 .实时数据同步痛点 原系统上 自研 人力 技术 项目 成本 难度 交付 

17 . 实时数据同步痛点 集成模式 数据集成 Lambda 架构 多条链路 重复开发 运维困难 

18 .实时数据同步痛点 统一技术路线 减少重复开发 运维简单 

19 .03 演进之路-技术选型 

20 .丰富的生态 社区活跃度 分布式架构 流批一体 高性能 

21 .SeaTunnel架构 SeaTunnel is a very easy-to-use, ultra-high-performance, distributed data integration platform that supports real-time synchronization of massive data. It can synchronize tens of billions of data stably and efficiently every day, and has been used in production by nearly 3000 companies. 

22 .03 未来展望 

23 .产品迭代 坚持以SeaTunnel为技术底座 迭代目前数据产品 

24 .用户期待 CDC能力 期待社区进一步发展丰富 积极参与社区共建 

25 .用户期待 默认使用zeta 任务监控指标可以更丰富 

26 .website: https://seatunnel.apache.org GitHub：https://github.com/apache/incubator-seatunnel Slack: https://apacheseatunnel.slack.com Twitter : https://twitter.com/asfseatunnel Video：https://space.bilibili.com/1542095008 

27 .