3.分布式文件系统如何治疗大数据与 AI 业务上云的水土不服-苏锐

1 .分布式文件系统如何治疗 大数据与 AI 上云的水土不服 苏锐，Juicedata 合伙人 

2 .今天分享的内容 ● 大数据与 AI 为什么要上云？ ● 上云，为什么会水土不服？ ● 如何解决，思路有哪些？ ● 大数据上云实践 ● AI 上云实践 

3 .JuiceFS is a distributed POSIX file system built on top of Redis and S3. 

4 .大数据与 AI 为什么要上云 优势 劣势 ● 弹性伸缩 ● 贵 ● 简化基础运维 ● 软件选择受限 

5 .大数据与 AI 为什么要上云 TCO & 弹性伸缩 运维 ● 不能只看单位节点的成本； ● 资源层面 ● 考虑采购速度、扩容速度对业务的影响； ○ 可以快速迁移恢复，意味着可用性提升； ● 考虑负载的波峰波谷； ○ 硬件维护的解放。 ● 能伸还要能缩，后者在机房更困难。 ● 软件层面 ○ 用 PaaS 有厂商依赖； ○ 用 Hadoop 生态，但没有全托管服 务。 

6 .大数据上云，有哪些水土不服？ ● 机器选型的变化，机房配置照搬上云不适合； ● 选哪个发行版？EMR，CDP，社区版 … 如何验证兼容性，软件照搬最保险？ ● 架构改造，存储计算分离 ○ 不改造，就没有 弹性伸缩； ○ 改造，如何改？ 

7 .大数据上云，有哪些水土不服？ ● 机器选型的变化，机房配置照搬上云不适合； ● 选哪个发行版？EMR，CDP，社区版 … 如何验证兼容性，软件照搬最保险？ ● 架构改造，存储计算分离 ○ HDFS 独立部署可以 实现最简单的存算分离， 计算节点可以弹性，但存储仍然不能弹性； ○ 换对象存储，实现了弹性伸缩，但也有不少坑： ■ 与各组件的兼容性（ Hadoop 生态的引擎都按 HDFS API 设计，各种对象存储的兼容性不一致）； ■ 数据一致性（大部分 对象存储是最终一致性）； ■ 数据本地性 丧失； ■ 性能下降。 

8 .AI 上云，有哪些水土不服？ 

9 .AI 上云，有哪些水土不服？ ● 用到多种存储类型，数据搬来搬去 ○ 块存储：单机访问，有容量限制。 ○ 文件存储：云存储的短板。 ○ 对象存储：用于训练性能不足，海量 对象对于人的管理也是困 难的。 ○ 云上的高性能文件系 统：大多是基于 Lustre，贵，规模有限。 

10 .AI 上云，有哪些水土不服？ ● AI 业务期待的存储能力，和背后的逻辑： ○ POSIX 兼容（和使用本地 盘一样，不用学新的，而且框架兼容性最好）； ○ 能被大量节点共享访问（除了机器的并 发访问，工作目录能在集群任意 节点上访问是很方面的体 验）； ○ K8s 友好（训练任务大多用 K8s 调度了，不友好没法用的）； ○ 能管理上百 亿文件（CV、自动驾驶领域刚需）； ○ 快，最好不 贵（快到不拖 GPU 后腿）。 

11 .解决思路 SQL ---> NoSQL ---> NewSQL ---> HTAP 

12 .解决思路 SQL ---> NoSQL ---> NewSQL ---> HTAP 一体机 ---> SDS ---> S3 ---> Cloud-Native File Storage 

13 . JuiceFS ● 面向云环境设计； ● 支持 POSIX，HDFS，S3 API； ● Kubernetes CSI 友好； ● 缓存加速； ● 百亿文件管理； ● 7 种元数据引擎； ● 33 种对象存储； ● GitHub 3.6K star 

14 .Roadmap 1. （已发布）Hadoop SDK，100% HDFS 兼容； 2. （已发布）S3 Gateway，兼容已有为 S3 接口开发的程序； 3. （已发布）Windows 客户端； 4. （已发布）数据存储加密； 5. （已发布）全局 UID/GID 配置； 6. （已发布）支持 SQL 元数据存储引擎（如 MySQL、TiDB）； 7. （已发布）支持元数据导出及导入； 8. （已发布）支持客户端缓存元数据； 9. （已发布）支持分布式 K/V 元数据存储引擎（如 TiKV、FoundationDB），管理更大规模集群。 

15 .给大数据开药方 ● 100% HDFS 兼容； ● 支持所有发行版，可以平滑迁移； ● 缓存对性能的提升补充了数据本地 性； ● 保证数据强一致性； ● 实现存储计算分离，计算资源实现弹 性伸缩。 

16 . 给 AI 开药方 ● 100% POSIX 兼容； ● 和本地盘使用体验一样； ● 上千节点共享； ● 百亿文件管理； ● 计算节点本地 Cache； ● AI Lake，数据不再搬来搬去。 

17 .开源社区是大家的社区 ● 欢迎大家贡献你们遇到的痛点和好主意 ● 一起开出更好的 药方 💊 😁