展开查看详情
1 .字节跳动 Hadoop 云原生化
演进实践
邵凯阳 ｜ 字节跳动基础架构工程师
林友权 ｜ 字节跳动基础架构工程师
2022/09/24
2 .目录
1 2 3 4
演进背景 解决方案 上线收益 未来规划
3 .演进背景 -- 离线规模
数十万 百万级 千万核
节点数 任务数/天 资源量/天
4 . 演进背景 -- 调度架构
离线调度 在线调度
User Code User Code
AM
Framework
Lib
资源 任务 任务
状态 编排 调度
Controller
Kubectl Scheduler
Manager
Admission AMS Quota
Manager Manager Manager
API Server ETCD
Scheduler
Scheduler
Scheduler
ZK ZKStateStore
（Fair/Batch/Gang）
（Fair/Batch/Gang）
（Fair/Batch/Gang）
Kubelet Kubelet
Kubelet Kubelet
NM NM NM NM
... NM' NM' ...
5 .演进背景 -- 核心诉求
➢ 重大活动场景（春节/双 11），在离线资源需要能够高效、灵活地相互转换；
➢ 整个数据中心的利用率需要得到更全面、充分的提升，降本增效；
➢ 在离线资源共池，Quota 管控、调度、运行、机器运维统一；
6 .解决方案 -- 离线作业直接迁移 K8s ？
由大数据的各个计算引擎，包括 Spark、Flink 等深度改造以适配 K8s。
➢ 对计算引擎侵入较深，计算引擎侧需要做大量改造才能支持原先在 YARN 的各种特性；
➢ 生产环境的作业（百万级）非常多，如何从 YARN 平滑迁移到 K8s 也是个比较大的问题；
➢ 特别地，部分比较古老的计算引擎，比如 MapReduce，目前处于 maintain 状态，已经
无法做大的改造来迁移；
7 .解决方案 -- Yodel
Yodel（YARN on Gödel）是字节跳动提出的 Hadoop 大数据生态云原生
化演进实践方案，其中 Gödel 是公司内增强版 Kubernetes 。
将公司内大数据业务（Spark/Flink）、训练业务（Primus）平滑迁移到
Kubernetes，实现在离线资源池统一，提升资源利用率。
8 .解决方案
1 Yodel 架构 4 持久化服务
2 RGS 服务 5 平滑迁移
3 RKS 服务 6 重要优化
9 .解决方案 -- Yodel 架构
User Code
AM
Framework CLI
6. Resource 9. Container 10. Start
YarnClient SDK Container
Request Allocated
1. Submit App (heartbeat) (heartbeat)
Admission AMS Quota
Manager Manager Manager
Yodel
RM ZK/ETCD/KV Remote Godel Remote Kubelet
State Store Scheduler Service
2. New App 3. Request 4. AM Pod 5. Start 7. Create 8. Pod 11. Patch
AM Pod Allocated AM Pod/PodGroup Allocated Pod
新增组件 API Server
适配组件
Gödel Scheduler Kubelet
Kubelet
K8s/Gödel 生态 Kubelet
10 .解决方案 -- Yodel 架构 Pod 生命周期
AM
1. Resource 5. Container 6. Start
Request Allocated Container
(Acquired) (Acquired)
Yodel RM
2. Create Pod 4. Convert Pod 7. Patch Pod
（Pending- To Container （Acquired）
Unscheduled） （Allocated）
API Server
3. Pod Allocated 8. Start Pod
（Pending-Scheduled） （Running）
Gödel Scheduler Kubelet
Kubelet
Kubelet
11 .解决方案 -- RGS 服务
List<Container>
AM
AM
AM
ResourceRequest
Fair Share Fair Share
Quota Guaranteed Sort Policy Best-effort
Sort Policy
Manager Resource Resource
Quota Control Quota Control
➢ 兼容 Hadoop 协议
任务无需改动
Convert Request Convert Pod
To Pod Service To Container Service ➢ 支持 GT 和 BE 两种
Allocate RGS
Service Update Pod 资源类型
Delete Pod Service
Status Service
Pod Request List<Pod>
API Server
Remote
Scheduler
Gödel Scheduler
12 .解决方案 -- RKS 服务
NM Client SDK AM
1. Start Container 8. Sync Container Status
Patch Pod Pod Status
RKS Service Update Service
2. Patch Pod 7. Watch Pod HDFS
API Server
3. Start Pod 6. Update Pod State
4. Localize
Resource
Kubelet LocalizationService
Containerd Log Shuffle
Serving Service
5. Run Pod
Container Metrics
Webshell
Collector
Pod
Worker
DaemonSet
13 .解决方案 -- 持久化服务
RM RM
ZKStateStore KVStateStore
API Server
➢ MetaData: 集群元数据信息、集群默认配置等；
➢ Queue(~300/cluster)：队列 Quota、ACL 信息等；
➢ Application(~2W/cluster): name、user、state 等；
➢ AppAttempt(~10W/cluster)：name、user、state 等；
➢ Pod(~30W/cluster): state、annotation、env 等；
14 .解决方案 -- 平滑迁移
Workflow Hosting
Submit App
ResLake
Rebalance Queue Quota/App
root.queueA App App App root.queueA App App
Quota
root.queueB App App Platform root.queueB App
... ...
NM NM NM NM NM NM ... Kubelet Kubelet Kubelet Kubelet Kubelet
...
AutoMigration
YARN 架构集群 Yodel 架构集群
15 .解决方案 -- 重要优化之性能优化
➢ Recover 阶段异步恢复 Pod 状态降低切主时间（秒级）；
➢ 异步多线程操作 Pod 以提高调度吞吐（～2K/s）；
➢ PodName 散列优化助力底层存储写延迟下降 100 倍；
➢ 与 API Server 交互增强，java fabric8 k8s client 优化：
➢ 支持指数退让重试，增强 API Server 故障容错；
➢ list 操作默认添加 resourceVersion 参数，避免击穿到底层存储；
➢ 将 informer resync 设置为 0，避免频繁内存拷贝造成 OOM；
16 .解决方案 -- 重要优化之运行优化
➢ AM 容器运行在单独资源池，独立优先级不可抢占；
➢ 支持镜像本地化约束，平均拉起速度提升 ～1000 倍；
➢ 支持双栈节点和 v6 only 节点在单集群混跑；
➢ Shuffle 数据写远程，避免打爆本地磁盘；
➢ 大量引入 ssd 和 nvme 磁盘，加速作业运行；
17 .上线收益
高效资源切换 利用率提升 在离线统一
NM 和周边单机组件
实现 2022 元旦/春 在离线资源全量共池，
下线，降低
节 ～50W 核离线资 Quota 管控、调度、
Overhead，带来单
源分钟级出让； 运行、机器运维统一；
机 2% 利用率提升；
18 .未来规划
➢ RGS & RKS 部署云原生化
➢ 接入服务发现
➢ 支持容器化部署
➢ 可弹性扩展
➢ 开源回馈社区
热门城市
