Alluxio系列Meetup——Spark+Alluxio：面向K8s的数据本地性优化与中国联通大数据系统案例分析

Talk I: Alluxio在中国联通的实践

联通传统的批处理架构主要由IOE、Hive、及Greenplum等系统组成。随着业务发展，基于多样化场景的、烟囱式的、分散的计算应用模块大量涌现。为了解决资源碎片化问题，我们引入了以Spark与Alluxio为核心的计算生态构建统一计算平台。Alluxio在其中扮演着加速数据处理、保障过程稳定的重要角色。

讲师介绍

张策，2017年5月进入联通软件研究院Spark项目组实习，2018年7月从北京交通大学毕业，并正式加入软研院。目前担任大数据研发工程师，负责Spark、Flink、Alluxio等相关系统的运营、优化工作。

Talk II : Spark + Alluxio在K8s平台上的数据本地性

Alluxio用缓存的方式，将数据带到计算端，通过更好的数据本地性提升计算效率。随着更多人将服务迁移到云端的容器中并使用K8s来进行容器编排，新的技术、框架和设计理念也给数据本地性带来了新的挑战。Alluxio针对用户在K8s上的不同使用场景，提供了不同的数据本地化解决方案。这个分享将从Spark+Alluxio在非K8s环境下如何实现数据本地性出发，深入介绍Spark+Alluxio如何在K8s环境下实现同样的数据本地性，最后介绍针对不同使用场景的两种解决方案。

讲师介绍

刘嘉承，2017年哥伦比亚大学计算机科学硕士毕业。2019年加入Alluxio开发团队，主要负责Alluxio和云场景相关的开发工作。