4月9日JindoFS系列直播【存储计算分离场景的计算适应优化】

1 .存储计算分离场景的计算 适应优化 王道远（健身） 

2 .背景介绍 Part I 

3 . Map-Reduce 编程思想 Input Split Map Shuffle Reduce Output Map 1 Map [1] Map 1 Map Reduce Data Reduce 1 Data 1 Reduce [1] Reduce 1 Map 1 Map Reduce Data Reduce 1 Big Big Data Big 2 Big [2,1] Big 3 Big 3 Big Big Data Data 1 Compute 1 Compute Big Data Data 3 Compute [1] Compute 1 Compute 1 Compute Big Data Big 1 Data 1 Data [1,1,1] Data 3 

4 .传统Hadoop大数据集群架构 ResourceManager NameNode NodeManager NodeManager NodeManager …… DataNode DataNode DataNode 

5 . Share-nothing与data local Share Everything Share Disk Share Nothing 计算 存储 

6 .HDFS 存储 

7 .Data locality • 同一进程内存 • 进程所在节点硬盘 • 进程所在节点所在机架 • 进程所在节点所在机房 • 跨机房读取 

8 .传统大数据架构的缺点 • Namenode 压力 • 存储资源与计算资源不匹配时有浪费 • 不能灵活伸缩 • HDFS balancer 占用集群资源 • 存储集群运维成本 • …… 

9 .存储计算分离架构 Part II 

10 .存储计算分离架构 EMR 弹性计算集群 OSS 对象存储 

11 .对象存储 VS HDFS • 无需运维 • 按用量付费 • 不限容量和文件数量 • 稳定可靠 

12 .计算适应优化 Part III 

13 .性能分析 • 计算集群与存储集群之间的总带宽受限 • 跨集群 rpc 访问响应时间长 • 调度任务无 locality 信息 • 对象存储 rename 操作代价较大 

14 .数据一致性与JobCommitter 

15 .集群内缓存（JindoFS）与 locality 

16 .Hive 作业 • 分区表分多级目录存储 • getInputPaths • Load dynamic partitions • scratch 目录和 staging 目录 • MoveTask 

17 .Hive 作业 • hive.blobstore.supported.schemes • hive.blobstore.optimizations.enabled • hive.blobstore.use.blobstore.as.scratchdir • hive.exec.input.listing.max.threads • mapreduce.input.fileinputformat.list-status.num-threads • hive.mv.files.threads • hive.load.dynamic.partitions.thread 

18 .namespace 瓶颈 • Split 操作对于 location 信息请求量很大 • 一些操作会先 listStatus 再分别 getBlockLocation，rpc 数量太多 • SPARK-27801 使用 listLocatedStatus ，大大减少 rpc 数量 

19 .进一步优化 • 部分计算下推到存储节点 • 单副本缓存的任务调度优化 • 计算主动把热点数据 pin 在缓存中 • 计算相关的缓存策略（表级别/分区级别） 

20 .Q&A