1 Apache SeaTunnel 在唯品会的实践 - 王玉

播放视频

视频文档

1 Apache SeaTunnel 在唯品会的实践 - 王玉

下载 71

SeaTunnel

发布于

1465

人观看

#信息技术

本次分享主要带来 SeaTunnel 在唯品会的多维度实践。从选型组件方案，到 OLAP方案的使用，到与唯品会数据平台的集成方案，到人群方案中的使用。也同时会分享唯品会在使用 SeaTunnel 的一些集成和使用改造。

展开查看详情

1 .SeaTunnel 在唯品会的实践唯品会资深大数据工程师王玉 https://seatunnel.apache.org/

2 .CONTENTS  ClickHouse数据导入的需求和痛点  ClickHouse出仓入仓工具选型  Hive to ClickHouse  ClickHouse to Hive  SeaTunnel与唯品会数据平台的集成 https://seatunnel.apache.org/

3 .ClickHouse数据导入的需求和痛点 https://seatunnel.apache.org/

4 .ClickHouse数据导入的需求和痛点唯品会数据OLAP架构 https://seatunnel.apache.org/

5 .ClickHouse数据导入的需求和痛点需求 Hive Presto ClickHouse Spark Kudu 我不要做数据孤岛 Alluxio https://seatunnel.apache.org/

6 .ClickHouse数据导入的需求和痛点需求这个场景Presto跑的有点慢 https://seatunnel.apache.org/

7 .ClickHouse数据导入的需求和痛点需求 Hive维表？拿来吧你！ https://seatunnel.apache.org/

8 .ClickHouse数据导入的需求和痛点痛点快不快？ Hyperloglog Btimap Hive 准不准？全不全？ ClickHouse https://seatunnel.apache.org/

9 .ClickHouse和Hive出仓入仓工具的选型 https://seatunnel.apache.org/

10 .ClickHouse和Hive出仓入仓工具的选型业界的选择 https://seatunnel.apache.org/

11 .ClickHouse和Hive出仓入仓工具的选型几种方式的对比 https://seatunnel.apache.org/

12 .ClickHouse和Hive出仓入仓工具的选型我们的选择 https://seatunnel.apache.org/

13 .Hive to ClickHouse https://seatunnel.apache.org/

14 .Hive to ClickHouse 举个例子 https://seatunnel.apache.org/

15 .Hive to ClickHouse SeaTunnel配置 https://seatunnel.apache.org/

16 .Hive to ClickHouse 执行SeaTunnel 语句：sh /waterdrop-1.5.0/bin/start-waterdrop.sh --config /tmp/clickhouse/batch.conf --master yarn -- deploy-mode client --queue root.basic_platform.critical https://seatunnel.apache.org/

17 .Hive to ClickHouse 返回日志 https://seatunnel.apache.org/

18 .Hive to ClickHouse SeaTunnel改造-支持重跑做好pre_sql和check_sql，支持重跑和对数 https://seatunnel.apache.org/

19 .Hive to ClickHouse SeaTunnel改造-RowBinary加速 https://seatunnel.apache.org/

20 .Hive to ClickHouse SeaTunnel改造-支持多类型 https://seatunnel.apache.org/

21 .Hive to ClickHouse 写入分布式表OR本地表写入分布式表写入本地表一般写入分布式表的性能会比较差一点，写入本地表对Clickhouse的压力会更小，对Clickhouse集群的压力会更大。但是在实写入的性能也会更好。我们在Seatunnel里，现某些分布式表分布特定规则，比如根据sink的表，去Clickhouse的 murmurHash64的时候，在Clickhouse分布 System.cluster表里获取表的分布信息和机器式表上配好hash规则，然后在Seatunnel的分布host。然后根据均分规则写入这些host。 sink里直接配置分布式表，把写入规则交给把数据分布式写入的事情放到seatunnel里来 Clickhouse会比较方便。做。 https://seatunnel.apache.org/

22 .ClickHouse to Hive https://seatunnel.apache.org/

23 .ClickHouse to Hive 我们为什么要这么做 https://seatunnel.apache.org/

24 .ClickHouse to Hive SeaTunnel配置 https://seatunnel.apache.org/

25 .ClickHouse to Hive 改造点 https://seatunnel.apache.org/

26 .SeaTunnel与唯品会数据平台的集成 https://seatunnel.apache.org/

27 .SeaTunnel与唯品会数据平台的集成调度系统-数坊架构图 https://seatunnel.apache.org/

28 .SeaTunnel与唯品会数据平台的集成调度系统-SeaTunnel类型任务展示图 https://seatunnel.apache.org/

29 .SeaTunnel与唯品会数据平台的集成调度系统-集成SeaTunnel https://seatunnel.apache.org/

2点赞

3收藏

71下载