基于边缘计算的AIOT解决方案深度解析

1 .基于边缘计算的AIOT解决方案深度解析 星环科技 薛康杰 星环信息科技（上海）有限公司 www.transwarp.io 06 - 2020 

2 . Content 01 AIoT背景介绍 目录 02 基于边缘计算的AIoT解决方案 03 成功案例 04 Q&A ©Transwarp Confidential 1 

3 . 星环科技 Transwarp AIoT背景介绍 ©Transwarp Confidential 3 

4 .AIoT = AI + IoT • 超速 • 闯红灯 • 压线 • 逆行 • 违规变道 • 违章停车 … ©Transwarp Confidential 4 

5 .“端-云”模式下AIoT面临的挑战：延迟、容量、成本 云计算 延迟 上传 • 设备直连数据中心的延迟较大，传输延迟大于50ms 原始数据 • 无法满足低延时场景下的需求：测温，自动驾驶，航 空领域，etc. 连接 容量 学习 行动 • 万亿设备连接到云端，GB级数据上云造成了巨 下发 大的带宽压力 设备端 操作 云端 终端计算 上传 设备数据 成本 • 替换传统设备开销大，且模型固定不灵活。 行动 学习 连接 下发 设备端 模型和操作 云端 ©Transwarp Confidential 5 

6 .基于边缘计算的AIoT IDC预测，到2023年全球有超过50％的IT基础设施从云端迁移到边缘端。[1] 上传 上传 原始数据 重要数据 连接 行动 学习 下发 下发 设备端 操作 镜像 云端 边缘端 减少处理延时， 提升数据价值 经济高效的智能化改造 提升响应实时性 • 通过边缘计算，可对传统设备进行低 成本的智能化改造 • 通过在边缘端对数据进行预处理，过滤 • 让计算更贴近数据源， 低价值数据，降低和云端间的传输 响应处理更加及时 [1] Frank Gens, Meredith Whalen, etc., “IDC FutureScape: Worldwide IT Industry 2020 Predictions”, IDC FutureScape., (Oct 2019). 6 ©Transwarp Confidential 

7 . 星环科技 Transwarp 基于边缘计算的AIoT方案 ©Transwarp Confidential 7 

8 .基于边缘计算的AIoT云边一体总体方案 更低的成本：无需改造传统设备 更高的效率：让计算贴近数据源，处理相应更加及时 边缘节点 数据中心 分析模型 API服务 Sophon Base 服务 模 上线 预测模型 型 模 网关 服务 上架 仓 型 镜像 图像模型 库 训 服务 练 物料 制造 设计 工艺 质量 设备 传感器 规则引擎 数据洞察 信息 信息 信息 信息 信息 信息 TDH / TDC ©Transwarp Confidential 8 

9 .Sophon Base: 一站式AI平台，打造机器学习闭环 Pipeline建模 数据导入 数据探索 数据预处理 特征工程 模型训练 性能验证 模型部署 最新数据 模型 预测值 模型训练工作流 模型预测工作流 性能评估工作流 闭环建模 • 实现模型的自动迭代 真实值 模型性能指标值 数据库 图表展示 ©Transwarp Confidential 9 

10 .Sophon Base: 企业级特性，支撑数据化升级转型 单模型 复杂pipeline 50倍 160倍 10倍 15倍 响应速度 吞吐量 响应速度 吞吐量 ©Transwarp Confidential 10 

11 .Sophon Base: 多行业多场景覆盖 用于流式处理（spark streaming和storm）、日志收集、消息系统、用户活动跟 实时流 • 踪、运营指标监控等 自动特征工程 • 帮助用户自动构建特征工程pipeline • 基于拖拉拽实验的创建方式，简单高效 • 向导式界面，高易用性和解释性 • 支持多种数据源接入（Kafka, Flume, Twitter, ZeroMQ等），并支持流计算资源 • 自动数据清洗、自动多表扩展 监控 • 支持C++/Octave语言，且Octave支持上架上线 • 支持创建标注任务，满足多人在线标注场景 Notebook编程 CV建模 • 支持Gateway方式上架notebook代码，响应速度提升 • 与Sophon Edge打通，实现一站式CV建模并应用 ©Transwarp Confidential 11 

12 . Sophon Edge 介绍 Sophon Edge = Edge Hub（云端）+ Edge Node（边缘端） MQTT 设备管理 模型1 模型2 模型3 模型4 模型 Edge Hub 传感设备 模型仓库 产品管理 计算服务管理 RFID/温度/湿度 COAP 设备协议网关服务 边缘平台基础服务 状态 消息汇集 规则管理 … 服务市场 状态监控 数据通信 Modbus RTU MQTT Broker 边缘节点监控和运维 操作 输入 视频图像编解码 控制设备 Modbus TCP COAP Driver PLC/云台/警笛 流 设 模型优化 OPC-UA Modbus Driver 备 处 … 理 消 人工智能平台 引 模型推理 Sophon Base 息 擎 自定义串口 OPC-UA Driver 总 视音频设备 线 自定义函数 自定义 Socket 输出 自定义 Driver 摄像头/拾音器 大数据平台 RTSP RTSP Client 数据管理 数据 Kafka Hadoop Spark 设备 边缘节点 (Edge Node) 云端集群 ©Transwarp Confidential 12 

13 .Sophon Edge：高效 • 新版本中增加了3种协议（CoAP, • 实例的占用资源监控 ONVIF, UVC），总协议数达到9种 • 模型推理的延迟、错误统计 • 支持批量添加设备 快速设备接入 低延迟 实时监控 新增多媒体网关，有效解决包围框和 目标分离、视频卡顿等问题 ©Transwarp Confidential 13 

14 .Sophon Edge：灵活 FaaS, 即Function as a 自定义函数 Service，用于复杂业务场景下 的数据处理及分析，无需关心 灵 启动环境 活 边缘节点可部署在基于ARM架 多架构支持 构和X86架构上服务器上不受 服务器架构的限制 ©Transwarp Confidential 14 

15 .Sophon Edge：可靠 可靠 自动恢复 数据隐私 断网情况下，边缘端能够独立运 边缘节点将会将数据加密上传至 行，不影响实时数据处理。网络 云端，降低了隐私数据泄露的风 恢复后边缘数据与云端数据可续 险。 传和同步。 ©Transwarp Confidential 15 

16 . 星环科技 Transwarp 成功案例 ©Transwarp Confidential 16 

17 .案例概览 星环AIoT方案已在各个领域帮助客户完成数字化转型，实现降本增效。 Sophon AIoT 智慧安防 智慧能源 智慧电网 智慧工业 智慧交通 智慧城市 … 入侵检测 车牌识别 开关柜检测 半导体产线质检 实时火花检测 违规排污检测 … 穿戴检测 车牌和油枪匹配 穿戴检测 飞机表面喷涂缺陷检测 离线火花分析 行人越界检测 故障预警 检测结果和商品推荐管理 工作单识别 预测性维护 身份识别 人脸识别 能耗监控 异物检测 ©Transwarp Confidential 异常行为识别 17 

18 .已落地的应用场景 人脸识别 穿戴识别 异物识别 设备状态识别 • 人脸检测：正面 > 97% • 安全帽识别：准确率 > • 鸟巢识别 • 表计识别 侧面> 85% 98% • 飘挂物识别 • 油位状态识别 • 人脸识别：准确率 > 95% • 工作服识别：准确率 > • 异物入侵检测 • 指示灯识别 • 人脸性别、年龄、跟踪 97% • 铭牌识别 OCR识别 车辆识别 设备缺陷识别 其他场景 • 手写日期识别 • 车型识别 • 表计破损 • 输电线路吊车临近 • 发票识别 • 车牌号识别 • 塔杆、设备生锈识别 • 山火烟雾识别 • 合同内容比对 • 车颜色识别 • 绝缘子污损 • 污水倾倒识别 • PDF文档识别 • 驾驶员行为识别 • 绝缘子断裂 • 铭牌识别 • 地铁火花识别 ©Transwarp Confidential 18 

19 .案例分析1：智慧加油站 客户痛点 1. 缺乏非卡用户感知：对大量未办理储值卡的用户（占比 超70%）无法进行精准营销 2. 缺乏营销触达：社会加油站缺乏营销平台支撑，难以构 建客户画像并开展营销活动 解决方案 成果 1. 构建大数据平台实现基于用户、商品和加油站的用户 1. 在加油站复杂场景的识别上，实现92%的综合加油/交 画像 易匹配率 2. 利用摄像头识别车辆并关联车主信息，实现营销感知 2. 方案成功通过验收，并已部署到8个加油站内，未来将 及营销触达 全国推广 ©Transwarp Confidential 19 

20 .案例分析1：智慧加油站 (Contd.) 整体方案架构 加油站 基于用户画像的个性化推荐 实时精准营销系统 识别车辆信息 NVR 匹配交易记录 NVR Sophon Edge Slipstream Inceptor 边缘计算 Kafka 实时流处理引擎 分析型数据库 消息队列 NVR 模型训练及推送 Sophon Base 人工智能平台 ©Transwarp Confidential 20 

21 .案例分析2：智慧安防 客户痛点 人员管理难度高 安全生产态势严峻 环境纠纷处罚不断 • 工种多 • 安全意识淡薄 • 扬尘 • 人员杂 • 监管不利 • 噪声 • 分布散 • 大量的顶包现象。 解决方案 • 人员基础信息管理 • 自动设备台帐管理 • 基础环境信息统计 • 人员中暑告警 • 设备运行状态监控 • 环境指标超标预警 • 工地实时人数统计 • 设备故障预测分析 • 工地喷淋设备联动 • 人员考勤信息统计 • 人脸及工人越界识别 • 智能用水用电统计 • 车辆进出信息统计 • 工人穿戴不合规告警 • 模型识别抓拍率>99%，识别率>95%，识别延迟为毫秒级 成果 • 纠正违规行为3000余次，安全生产事故数为0 • 已在多个工地落地，方案可复制性高 ©Transwarp Confidential 21 

22 .案例分析3：智慧城市 客户痛点 1. 取证难：污水倾倒此行为的周期短，无法进行及时 取证； 2. 污染大：往雨水管道口排污，污水未经处理直接进 入河道，将严重污染城市水质。 解决方案 成果 1、对污水乱倒的违法行为进行24h不间断监测识别，违法行为0容忍； 人体识别 2、实现了违法行为取证，让执法人员有证可依，有据可查； 入侵检测 3、减少城市管理的人力投入 倾倒行为识别 4、保障城市水质 ©Transwarp Confidential 22 

23 .案例分析3：智慧城市 (Contd.) Edge Node 倾倒污水行为识别Demo 添加设备 摄像头 设计规则 人体识别 入侵检测 倾倒行为识别 创建实例 绘制倒水区域 绑定模型 消息提示 倒水 GIF告警 ©Transwarp Confidential 23 

24 . 迸发AI价值 实现万物互联、实现数据汇聚 基于边缘计算的AIoT方案将赋能各行各业 24 

25 . 星环科技 Transwarp Q&A ©Transwarp Confidential 25