【数据湖 JindoFS+OSS 实操干货36讲】第一课
直播时间:5月11日 16:00
本期主题:
1、高效迁移 HDFS 海量文件到 OSS
2、数据无忧:利用 checksum 迁移 HDFS 数据到 OSS
主讲人:
扬礼 - 阿里巴巴计算平台事业部 EMR 开发工程师
焱冰 - 阿里巴巴计算平台事业部 EMR 技术专家
【背景介绍】
JindoFS 作为阿里云基于 OSS 的一揽子数据湖存储优化方案,完全兼容 Hadoop/Spark 生态,并针对 Spark、Hive、Flink、Presto 等大数据组件和 AI 生态实现了大量扩展和优化。
JindoFS 项目包括 JindoFS OSS 支持、JindoFS 分布式缓存系统(JindoFS Cache 模式)和 JindoFS 分布式存储优化系统(JindoFS Block 模式)。
JindoSDK 是各个计算组件可以用来使用JindoFS 这些优化扩展功能和模式的套件,包括 Hadoop Java SDK、Python SDK 和 Fuse/POSIX 支持。JindoSDK 在阿里云 E-MapReduce 产品中被深度集成,同时也开放给非 EMR 产品用户在各种 Hadoop/Spark 环境上使用。
GitHub 地址:
https://github.com/aliyun/alibabacloud-jindofs
欢迎点赞送星~
【课程解析】
为了让更多开发者了解并使用 JindoFS+OSS,由阿里云JindoFS+OSS 团队打造的专业公开课【数据湖JindoFS+OSS 实操干货36讲】会在 每周二16:00 准时直播开讲!从五大版块入手(数据迁移、OSS 访问加速、JindoFS 缓存加速、AI 训练加速、JindoTable 计算加速),带你玩转数据湖!
记得搬好小板凳,每周二16:00 准时锁定!直接扫描下方钉群二维码进钉钉群与大佬零距离交流讨论~
【下期预告】
【数据湖 JindoFS+OSS 实操干货36讲】第二课
直播时间:5月18日 16:00
直播主题:
· 如何将 HDFS 数据归档到 OSS
· 如何将 Hive 数据按分区归档到 OSS