喜马拉雅大数据混合云方案

1 . | 喜⻢拉雅⼤数据混合云⽅案 陈涛 ⼤数据技术专家 

2 .⾃我介绍 陈涛 喜⻢拉雅⼤数据集群架构组负责⼈ ⽬前专注集群优化和稳定性提升 曾负责喜⻢拉雅计算平台组0-1构建 博客： https://github.com/cjuexuan/mynote/issues 微信号：ctxylx | 

3 . ⽬录 CONTENT ● 集群现状、问题与优化 ● 存储治理 ● 计算弹性 ● 计算加速 | 

4 .| 01 集群现状、问题与优化 

5 .集群现状 ➢ 主存储集群单机房 ➢ 750+hadoop机器，主要机型存算⼀体 ➢ 存储 hadoop3.2.1 ➢ 71PB总容量 ➢ 使⽤率68% ➢ ⽇净增量超过200TB ➢ 主计算集群 hadoop2.9.2 ➢ 26000核140T内存 ➢ ⽇作业10w+ ➢ 资源使⽤呈现明显潮汐现象 | 

6 .集群稳定性典型问题 ➢ datanode和nodemanager相互影响 ➢ cpu影响，任务占⽤⼤量cpu资源， 导致datanode响应慢 ➢ I/O影响，磁盘共⽤，部分任务 shuffle等打满磁盘，影响datanode 稳定性 ➢ 任务写⼊热点 ➢ streaming任务落盘hdfs，hdfs数据 本地化特性导致部分datanode 持续 热点 | 

7 .集群优化 Cgroup限制Yarn资源使⽤： | 

8 .集群优化 Cgroup限制Yarn资源使⽤： Before | 

9 .集群优化 Cgroup限制Yarn资源使⽤： Before After | 

10 .集群优化 计算、存储磁盘隔离 | 

11 .集群优化 计算、存储磁盘隔离 12T HDD (hdfs/yarn) 12T HDD (hdfs/yarn) 12T HDD (hdfs/yarn) 12T HDD (hdfs/yarn) 12T HDD (hdfs/yarn) 12T HDD (hdfs/yarn) 12T HDD (hdfs/yarn) 12T HDD (hdfs/yarn) Before | 

12 .集群优化 计算、存储磁盘隔离 12T HDD (hdfs/yarn) 12T HDD (hdfs) 12T HDD (hdfs/yarn) 12T HDD (hdfs) 12T HDD (hdfs/yarn) 12T HDD (hdfs) 12T HDD (hdfs/yarn) 12T HDD (hdfs) 12T HDD (hdfs/yarn) 12T HDD (hdfs) 12T HDD (hdfs/yarn) 12T HDD (hdfs) 12T HDD (hdfs/yarn) 1T SSD (yarn) 12T HDD (hdfs/yarn) 1T SSD (yarn) Before After | 

13 .集群优化 计算、存储磁盘隔离 | 

14 .集群优化 计算、存储磁盘隔离 | ⽼规格机器 

15 .集群优化 计算、存储磁盘隔离 | ⽼规格机器 新改造机器 

16 .集群优化 计算、存储磁盘隔离 Before After HDFS read avg: 12ms avg: 4ms max: 50ms max: 10ms HDFS write avg: 3ms avg: 1ms max: 60ms max: 8ms Yarn read avg: 12ms avg: 1.6ms max: 50ms max: 16ms Yarn write avg: 3ms avg: 6ms max: 60ms max: 20ms | ⽼规格机器 新改造机器 

17 .集群优化 客户端⽀持基于配置的hdfs忽略本地写（流任务⼴泛开启该特性） | 

18 .| 02 存储治理 

19 .存储治理 ➢ 采购交付周期⻓，季度为单位 ➢ 业务难以准确预估增量 ➢ ⽇数据增量超过200TB ➢ 提前闲置机器有额外的财务成本 ➢ 由于审计、财务等场景，⼤量冷 数据⽆法删除 ➢ ⾃建IDC空余机架不多，⽆法在 机房持续扩容 | 

20 .存储分析 | 

21 .存储分析 ➢ FSImage解析调优 ➢ LevelDB缓存Path ➢ 多线程解析 ➢ 效果 ➢ 5.7亿⽂件3⼩时解 析写⼊Clickhouse ➢ ⽀持任意path秒级 查询和分析 | 

22 .存储分析效果展示 | 

23 .存储分析效果展示 调度系统FSIMage解析任务管理 | 

24 .存储分析效果展示 | 

25 .存储分析效果展示 | 可视化系统-HDFS存储看板 

26 .冷数据上云 ➢ 核⼼⽭盾 ➢ 由于各种业务原因，⼤量的表删除规则较为保守 ➢ 业务增量快，机房扩容难 ➢ ⽬标 ➢ 在IDC机房⽆法扩容情况下⽀撑⽬前数据增量 ➢ 使⽤过程中对业务⽅透明 ➢ 成本低于机房 ➢ ⽅案实现 ➢ 业务设置表分区IDC保留时间 ➢ 过期分区通过spark任务定时上传到云上低频对象存储 ➢ 修改hive metastore对应分区location到cos ➢ 计算平台任务加⼊cos相关依赖，通过HDFS FileSystem实现对cos透明读取 | 

27 .冷数据上云效果 | 

28 .冷数据上云效果 | 表规则配置&Hive Location展示 

29 .冷数据上云效果 |