HBase在风控系统应用和高可用实践

1 .HBase 在风控系统的应用和高可用实践 郭冬冬

2 .About Me 挖财 高级技术专家 分布式服务，分布式计算，大数据 目前负责挖财大数据平台 同花顺 爬虫 ,HBase

3 .Why HBase 各条业务线快速发展，各自有自己的 MySQL 实例 风控需要有独立的数据集市 如何快速获取数据，上线风控系统

4 .Why HBase 百亿 - 千亿级别 现有数据导入 海量数据 ms 级别延迟 OLTP 低延迟 风控分析 和 Hive/Spark 结合 结合大数据分析

5 .Initial of HBase Architecture binlog 同步 schema 管理

6 .Initial of HBase Architecture SQL 查询支持 索引支持

7 .Initial of HBase Architecture 数据 export 数据仓库 数据仓库加工特征在线服务

8 .Initial of HBase Architecture 接口封装 get/gets,put,puts scanByKeyPrefix select,upsert 权限校验 业务线接入使用

9 .Happy Ending ?

10 .Availability Problems 数据量 * 20 访问量 * 100 用户量膨胀 谁在干坏事 哪个表出现热点 什么 SQL 不合理

11 .Availability Problems -- Phoenix Write Path Indexer Builder Region Coprocessor Host WAL Region Coprocessor Host WAL Updater Durable! Indexer Index Table Index Table Index Table Codec

12 .Availability Problems -- Fail Recovery RegionA – CoProcessor RS1 WAL Replay IndexRegionA RS2 Write

13 .Availability Problems -- Fail Recovery Dead Lock RS1 RS2 RS3 Opening Pending

14 .Availability Problems -- Phoenix Index Write Error Handler Disable Index Table Abort RegionServer

15 .Availability Problems

16 .Availability Problems -- Monitor

17 .Availability Problems -- RuleBased SQL Interception 是否是 RowKey scan 是否是索引查询 FullScan 是不是允许 ? select count(*) from table

18 .Availability Problems -- CostBased SQL Interception

19 .Availability Problems -- AdHoc Interception

20 .Availability Problems 2 h -> 15 min

21 .Availability Problems 2 h -> 15 min

22 .Availability Problems-2 DNS 解析 机器问题 操作失误 等等

23 .Availability Problems-2 -- 5min TTR 5min

24 .Availability Problems-2 有没有 一劳永逸 的方法

25 .Availability Problems-2

26 .Now and Future 成为一个基础服务 几十 TB 数据 高峰几十万 QPS 每天上亿 SQL

27 .Now and Future HBase 又挂了 ？ 需要稳定存储服务 , 要用 HBase

28 .Now and Future HBase Region Replicate HBase Multi Tenant HBase 2.0

29 .Now and Future 多集群 -> 多机房 能否摆脱 Phoenix ， 自研 SQL 引擎