如何使用 JuiceFS 优化 Kylin 4.0 的存储性能

1 .如何使用 JuiceFS 优化 Kylin 4.0 的 存储性能 高昌健 Juicedata 

2 . u Kylin 4.0 架构简介 u Kylin on Parquet 在云上的挑战 JuiceFS 简介 Agenda u u 为什么 Kylin 和 JuiceFS 要一起使用？ u 性能比较 u 未来展望 

3 .Kylin 4.0 架构简介 

4 .Kylin 4.0 架构 

5 .Kylin 4.0 架构 u 构建引擎和查询引擎基于 Spark u 查询引擎实现分布式查询 u Cube 文件采用 Parquet 格式直接存储在 HDFS 或对象存储 u 存储计算分离 

6 .Kylin on Parquet 在云上的挑战 

7 .对象存储 ≠ HDFS u 一致性模型 u 元数据操作性能（list、rename、delete 等） u 数据本地性 u API 请求频率限制及费用 u Hadoop 兼容性 

8 .JuiceFS 简介 

9 .JuiceFS 简介 u 开源云原生分布式文件系统 u GitHub 2700+ star u 强一致性 u 多种对象存储支持 u 多协议（POSIX、HDFS、S3、NFS、Samba 等） u 多系统（Linux、macOS、Windows） u K8s CSI 驱动 u 数据缓存 u https://github.com/juicedata/juicefs 

10 .JuiceFS 架构 

11 .为什么 Kylin 和 JuiceFS 要一起使用？ 

12 .JuiceFS > HDFS u 强一致性 u 高性能 u 数据本地性（缓存） u 完整兼容 Hadoop 生态 u TCO 低 u 快照 u 符号链接 u 云上全托管（商业版） 

13 .性能比较 

14 .测试环境 u TPC-H 10GB u Master（1 台）：阿里云 4 核 CPU、16GB 内存、200GB 高效云盘 u Worker（3 台）：阿里云 4 核 CPU、16GB 内存、200GB 高效云盘 x 2 u Kylin on OSS vs. Kylin on JuiceFS 

15 .测试结果 

16 .测试总结 u Kylin on OSS 构建 Cube 失败 u 总时间 JuiceFS 快 38% u 单查询时间 JuiceFS 最多快 85%（query14），平均快 46%。 

17 .未来展望 

18 .未来展望 u 查询预读 u P2P 分布式缓存 u Profiling 工具 

19 .联系我们 https://github.com/juicedata/juicefs May the source be with you 🖖 

20 .