Flink+HBase 场景化解决方案

1 .Flink+HBase 场景化解决方案 高旸 / 2019.3 

2 .实时计算市场竞争分析 – 传统厂商 场景丰富 起步较早 价格昂贵 本地部署 谋求云化 

3 .实时计算市场竞争分析 – 云厂商 2014年 2015年 2016年 2017年 2018年 起步较晚 场景初级 价格优势 空间巨大 

4 .业界开源技术生态分析 Top 5 用户邮件列表： 1.Flink (用户最活跃项目) Streaming 2.Lucene 第一代 第二代 第三代 3.Ignite 4.Cassandra 5.Kafka Streaming Mini Batch Stateful Streaming 2018年度报告 

5 . Flink容器化解决方案– 架构 Containerized User Interface App System Administrator Interface （系统管理员界面） User Development Interface （用户开发界面） - 用户及管理员交互界面 Analytics / Monitoring UI / Cluster Management Web Dashboard IDE/ Metrics Monitoring Web UI Containerized PaaS+ App Rule Engine Decision Engine Video/Audio Analytics Inference & Predication - Flink场景化解决方案容器服务 Security Industry Finance/Insurance Industry Compute Virtualization Tensorflow / MXNet HDFS HBase Flink Metrics Storage Distributed File System Data Storage Data Processing Engine Metrics Collection / Storage Containerized PaaS App - Flink实时计算基础容器服务 Zookeeper Yarn Kafka Security High Availability Coordination Job Scheduling /Monitoring Metrics data pipeline Permission / Authentication Deployment & Management K8S ETCD - 容器部署和管控服务 Deployment Management / Container Management / Job Scheduling/ Service Orchestra K8S KV Storage Physical or Virtual Machine - 物理机或虚拟化计算资源 

6 .实时计算容器化解决方案 - 生态合作伙伴 1. 引入生态伙伴进行 渠道 -> 交付 -> 扩容服务 -> 售后支持 构建产品形态的端到端闭环 2. 基于开源K8S生态或者伙伴定制化K8S生态 分销渠道 交付服务 扩容交付 售后支持 Go-to-Market Channel Delivery & Implementation Expansion Services Post Sales Service 产品的安装与部署 产品扩容交付 技术经理服务 增值可插拔解决方案 Technical Account Manager 解决方案提供 驻场服务 On-Site Support 远程支持服务 Remote Support 

7 .Flink实时计算的典型场景 数据分析（Data Analysis） 事件驱动 (Event-Driven) 数据处理（Data Pipeline） 实时大屏 实时监控 实时风控 实时ETL 互联网/新零售/金融 互联网/媒体/IOT 安防/金融 互联网/IOT • 众安保险 （金融大屏） • 城市安全 （预警管控） • 城市交通 （视频流处理） • VIPKID /TutorABC （教育大屏） • 众安保险（保单风控） • 格林深瞳 （图片流处理） • 基分 （内容大屏） • 邦道科技（充值缴费风控） • 新华智云（信息流处理） • 虎牙 （直播大屏） • 东方明珠 （媒体播放监控） • 智联招聘 （索引构建） • 格格家 （电商大屏） • 基分运维（系统指标监控） • 千寻 （北斗信息处理） • 上海欧新 （营销大屏） • 协鑫光伏 （工业设备监控） 

8 .在线教育-实时视频分析场景 实时系统状况监控 父母 实时系统状况 （是否有卡顿） 实时教学内容字幕推送 实时网络状况（延迟） 实时（准实时）精彩瞬间推送 实时（准实时）课堂质量报告 实时课堂满意度评估 老师 实时老师教学状况分析 是否使用教具，面部表情 实时课堂教学质量评估 学生 实时学生状况分析 面部表情 参与度及活跃度 监课 课堂实时监控 学生异常监控及干涉处理 老师异常监控及干涉处理 解决方案架构： 视频数据流 实时计算分析处理 特征生成、 分析报表 

9 .在线教育-实时预测场景 任务实时训练 数据采集 样本数据 输入层 权重值 隐藏层 输出层 推荐引擎 预测服务-参数 背景：每天约10万节在线课程（视频），每节课30分钟（包括 搜索引擎 课间5分钟），每天预计数十万分钟的音视频数据量。 数据源 数据源 广告引擎 特征值 需求：每一批的课程25分钟，然后收集所有课程视频、系统和 （KV存储） 特征计算 网络日志，在课间5分钟实时（准实时）预测下一批次25分钟 网络课程的网络及系统状况，预测可并发的课程数量。 特征输出 任务实时特征 数据采集 

10 .城市大脑-实时视频分析场景 城市交通搜索 渐进交互式视频搜索 交通态势及事件预测 智慧化市政建设与管理 应 用 错峰限行 闯禁 消防事件告警 层 车辆全程轨迹 不文明行为曝光 走失人员寻找 混合交通态势及事件预测 路面交通态势及事件预测 城市管理业务检测 引 视频结构化引擎 视频搜索引擎 事件检测引擎 擎 场景 层 行人 非机动车 机动车 目标 同天跨摄像头 跨天同摄像头 运动属性检测机 滞留现象检测 聚集现象检测 性别、发型、衣着 性别、头饰、载荷 车牌、车型、颜色 再识别 规则判断 算视 平觉 台计 实时视频分析平台 感 交通 安全 互联网 知 层 卡口、电警 普通摄像机 线圈、微波等 摄像机 FRID信号 MAC信号等 GPS 天气、活动 社交媒体 

11 .实时欺诈检测（风控）场景 实时欺诈检测（风控）系统流程如下： 1. 用户的行为经由App上报或Web日志记录下来，发送 到一个消息队列里去。 2. 实时计算订阅消息队列，过滤出感兴趣的行为，比 如：购买、领券、浏览等。 3. 实时计算计算把这个行为特征化。 4. 实时计算通过UDF调用外部一个风险模型，判断这次 行为是否有问题（单次行为）。 5. 实时计算里通过CEP功能，跨多条记录分析用户行为 （比如用户先做了A，又做了B，又做了3次C），整体 识别是否有风险。 6. 综合风险模型和CEP的结果，产出预警信息。 

12 .