Apache pulsar 在腾讯计费跨城场景下的应用

1 .Pulsar在腾讯计费跨城场景下的应用 刘德志 腾讯后台开发高级工程师 TEG技术工程事业群 | 计费系统开发者 

2 .目录 1、腾讯计费介绍 2、腾讯计费场景下跨城挑战 3、Pulsar 跨城能力 4、腾讯计费在跨城上的优化 5、总结 

3 .腾讯计费平台- 孵化于支撑腾讯内部业务千亿级营收的互联网交易平台。 

4 .腾讯计费平台-容灾能力 城市级故障容灾 低时延 灵活调度 数据 可用性 性能 一致性 

5 .

6 .异地多活是难题 深圳（主城） 上海（备城） BUSINESS- SVR BUSINESS- SVR 异地单活模型（严格） 只读请求 主城提供读写服务； TDSQL A 主城读写 异地读写请求转发至主城 ... TDSQL 只读 异步复制 C 异地单活模型（宽松） B 主城提供读写服务； ... 异地提供本地延迟读，写请求转发至主 城 异地多活模型（严格） 每个城市全量数据； 每个城市各自承担部分数据的读写服务 异地多活模型（宽松） 每个城市全量数据； 每个城市提供全部数据的读写服务 选择哪款MQ？ 

7 .选择Pulsar跨地域复制能力 n 内置能力 相比其他MQ,大部分需要业务实现消息复 制逻辑。 n 多种模式： 多城市最终一致，适应于同步数据量大 的场景，或者网络很差的情况； 多城市强同步，适应于对数据容灾级别 高的场景。 n 计算存储分离： 基于存储分离的能力，在跨城消费时拥 有更多的控制权来提升处理能力。 

8 .Pulsar高效数据复制模式 nPipeline写入 n条带化写入 n读写IO分离 n预热、顺序写、组提交 

9 .只读Broker提升消费处理能力 上万个消费者消费同一份 流水，怎么保证稳定性？ nBookie集群共用，Broker 集群隔离 n就近读取，减少跨城访问 

10 .异地数据跨城同步实践 

11 .异地数据跨城同步实践 n基于row格式binlog日志的hash并发策略 n批量压缩，减少网络流量 n自动化冲突检测 支持10w/s 同步速率，延迟在30ms左右。 

12 .

13 .Thanks！