2019-05-11 StreamNative-Meetup-BJ Geo-replication

下载 47

StreamNative

发布于

9400

人观看

#信息技术

Apache Pulsar 在设计之初加入了对 Yahoo 全球逾十个机房的跨地域复制（Geo-replication）需求。Apache Pulsar 的跨地域的多机房互备特性，是 Pulsar 企业级特性的重要组成部分，它在保证数据稳定可靠的同时，为用户提供了便捷的操作和管理。 Apache Pulsar 的跨地域复制从 2015 年开始，经历了 Yahoo 线上大规模数据的检验，保障了 Yahoo 全球逾十个跨地域机房中部署的邮件、财经、广告、Sherpa 等多个主要系统的可用性，整个系统服务了超过 140 万个主题，每天在多个数据中心复制上千万亿条消息。

展开查看详情

1 .Geo-Replication 翟佳

2 .⾃自我介绍 • 开源项⽬目爱好者： • Pulsar, BookKeeper, DistributedLog的Committer & PMC成员 • EMC -> StreamNative • StreamNative Core Engineer • 华中科⼤大 -> 中科院计算所

3 .• Pulsar 简介 • Pulsar Geo-Replication概览 • ⼯工作原理理 • 管理理和实践 • ⼯工作模式

4 .Apache Pulsar是什什么 2003 2010 2012 2006 2011

5 . Apache Pulsar是什什么 “Flexible Pub/Sub messaging backed by durable log/stream storage”

6 .Pulsar统⼀一模型队列列 + 流

7 .存储和服务分离分层架构: Brokers & Bookies • 独⽴立扩展 • 灵活容错 • 快速扩容

8 .企业级特性

9 .• Pulsar 简介 • Pulsar Geo-Replication概览 • ⼯工作原理理 • 管理理和实践 • ⼯工作模式

10 .概念：同步/异步

11 .Pulsar集群 ZooKeeper

12 .Pulsar多集群 ConfigStore ZooKeeper Brokers Brokers Brokers ZooKeeper ZooKeeper ZooKeeper BookKeeper BookKeeper BookKeeper

13 .Pulsar的Geo-replication Beijing Shanghai Producer Producer (P1) Topic (T1) Topic (T1) (P2) Consumer Subscription (S1) Subscription (S1) Consumer (C1) (C2) Broker原⽣生 Producer Topic (T1) Pub/Sub⼀一体 (P3) 管理理简单配置灵活 Guangzhou

14 .• Pulsar 简介 • Pulsar Geo-Replication概览 • ⼯工作原理理 • 管理理和实践 • ⼯工作模式

15 .• ⼯工作原理理 • 数据通路路 • 元数据

16 .原理理 Beijing Shanghai Producer Producer (P1) Topic (T1) Topic (T1) (P2) Consumer Subscription (S1) Subscription (S1) Consumer (C1) (C2) Producer Topic (T1) (P3) Guangzhou

17 .Topic

18 .Producer, Consumer Producer Consumer

19 .订阅

20 .订阅 — Cursor Broke Subscription1 Producer Topic … Write Ack Subscription Consumer readEntries ManagedLedger + Cursor Ack/N-Ack 1 2 3 4 5 6 7 1 2 3 4 5 6 7 -/+ BookKeepe 1 2 3 4 5 6 7 A B C D E Ledger stores Ledger stores Cursor

21 .机房间数据通路路 Beijing Replicato 1 Producer Topic1 2 Cursor 1 2 3 4 5 6 7 3 Consumer Subscription Producer 4.1 4 Replicato Cursor Topic1 Producer 1 2 3 4 5 6 7 5 6 Consumer Subscription Producer Shangha

22 .• ⼯工作原理理 • 数据通路路 • 元数据

23 .ZooKeeper ZooKeeper ConfigStore Beijing Shangha Guangzho Brokers Brokers Brokers ZooKeeper ZooKeeper ZooKeeper BookKeeper BookKeeper BookKeeper

24 .Configuration Storage

25 .ZooKeeper

26 .多租户

27 .原理理⼩小结 Beijing Shanghai Producer Producer (P1) Topic (T1) Topic (T1) (P2) Consumer Subscription (S1) Subscription (S1) Consumer (C1) (C2) Producer Topic (T1) (P3) Guangzhou

28 .• 跨地域复制 • 管理理，backlog, dispatch

29 .• Pulsar 简介 • Pulsar Geo-Replication概览 • ⼯工作原理理 • 管理理和实践 • ⼯工作模式

68点赞

1收藏

47下载