热门城市
- 快召唤伙伴们来围观吧
- 微博 QQ QQ空间 贴吧
- 文档嵌入链接
- 复制
- 微信扫一扫分享
- 已成功复制到剪贴板
Apache Spark on k8s and HDFS Security
在共享云计算平台多租户的应用场景下，每个用户都希望有独立的，隔离的应用环境，减少彼此调用都干扰，比如做Python调用时，不同用户对于Python的版本可能都会有不同要求，Kubernetes正是利用了容器技术，在分布式环境中为不同应用提供安全，可靠的隔离环境。作为最为流行的大数据计算框架Apache Spark，与Kubernetes的集成是成为当前比较热门的话题，除了计算需求以外，大数据还会有大量的数据存储在HDFS之上，当Kubernetes可以轻易调度Apache Spark，为它提供一个安全可靠的运行隔离环境时，数据在多用户之间的安全性又变得非常棘手，本文正是探讨了两个话题：如何利用Kerboros这样的认证体系，打通HDFS和Spark的作业执行的权限控制；出于性能的考虑，在Spark的Executor Pod如何仍然保持数据本地性调度优化。
3秒后跳转登录页面
去登陆
