“灵犀”智能语音分析平台架构实践V1.0

播放视频

视频文档

“灵犀”智能语音分析平台架构实践V1.0

下载 0

AICUG人工智能社区

发布于

886

人观看

#信息技术

8 .后端架构灵犀后台管理平台分析提交结果查询标签可视化管理数据标注效果评估数据分析配置系统编辑抽样分析提交服务实时呼叫中心话务数据MQ 分析结果查询服务语音标注逻主体服务标签标注辑层效果评测语音转存 ASR转写说话人识别实体识别语音语义标签挖掘基数日晷分层抽样础据语音库文本库标签索引离线库 ABTest 自研ASR 服 TextCNN LSTM BERT 层流量回放务 SCF WMonitor MySQL WOS Redis Hive WMB WTable WCS

9 . 分析处理流程接口服务数据服务主体服务 ABTest ASR服务 ASR回调服务角色服务标签服务 WPAI 外部系统分析请求下载转存录音分析请求 ABTest请求实验号 ASR转写请求转写请求入队成功提交成功提交队列中ASR转写请求 ASR转写完成角色识别请求角色识别结果标签分析请求模型请求模型结果标签分析结果存储分析结果分析结果WMB消息策略执行

10 .呼叫中心语音沟通流程 Kafka/WMB 话务数据坐席呼叫语音服务灵犀智能语音分析语音录音文件文件服务用户中继线

11 . 语音数据收集 • 呼叫中心分布于全国各地语音数据收集 • 每日近百G数据，数据转存易失败实时话务数据分业务分时实时订阅离线提交离线话务数据提交量监控 • 完善监控，定时重试，离线提交转换校验数据格式转存语音文件转存失败量监控语音录音文件成功入失败队列文件服务提交语音分析转存重试可达性监控

12 . 语音数据收集 • 实时话务数据与语音文件产生有1min左右的时延 • 实时消费话务数据无法立刻下载实时话务数据 Kafka/WMB 话务数据实时消费产生于话务数据后1min左右延迟队列呼叫语音服务灵犀智能语音分析语音录音文数据服务件文件服务

13 . 语音数据收集 • 本地延迟队列会引入单点问题 – 广播消费广播消费实时话务数据 – Redis hashSet保证幂等性延迟队列延迟队列延迟队列数据服务数据服务数据服务 VoiceId Key Set Redis

14 . ASR 语音转文本 • 向提交ASR转写请求 • 可靠性设计 – 异步请求 – 重试提交机制 • 回调服务 – 监控入提交队列获取提交任务 • 失败量监控本地ASR提交队列任务提交线程 – 接收转写完成回调 • 队列量监控 ASR接口服务 – 获取文本结果提交ASR转写请求 • 转写未返回量定时查询缓存提交信息自研ASR服务完成回调获取结果文本结果写入Wtable WTable Redis 完成结果状态写入WMB ASR完成WMB 回调服务

15 .目录 ◼ 灵犀智能语音分析平台 ◼ 架构设计 ◼ 语音语义标签挖掘、存储、检索、迭代 ◼ 标签可视化配置

16 . 灵犀标签体系语音-场景-标签情感识别 • 一个场景由若干个标签组成性别识别销售通用语音处理 ... • 一通录音可以接入多个分析场景推销打错了客服通用标签挖掘 ... 业务热词高频问题其他语音业务标签挖掘 ... ... ... 语音分析场景

17 . 语音语义标签挖掘 • 按标签模块化 • 代码复用、算法模块独立迭代正则表达式语速检测身份检测 – 日晷平台支持AB Test实验语音 – 算法模型部署在 58人工智能平台WPAI 关键词对话时长性别检测静音检测意图检测槽位识别 A1 A2 A11 A22 ASR文本分析结果日晷AB Test TextCNN LSTM BERT B1 B2 B11 B22 C1 C2 C11 C22 D1 D2 D11 D22

18 .标签存储结果查询接口服务语音分析Web平台 Flume Canal WCS MySQL WTable Hive 数据服务主体服务 ASR服务角色服务标签服务

19 . 标签检索-WCS • 提供多维实时查询 – AI标签、人工复核标签、时间、城市、时长 • 单一MySQL无法满足检索性能 • WCS 58自研的一站式、全自助化的搜索私有云平台 • MySQL Binlog + Canal + WCS • 工作原理 – Canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议 – MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal ) – canal 解析 binary log 对象(原始为 byte 流)

20 . 标签检索-WCS • 解析Binlog对象, 调用WCS接口更新索引 Web 话务数 Service 据 • 检索封装SCF接口查询WCS WCS SCF DB 语音分析 Service • 全部写操作落到MySQL 6.发送BINLOG_DUMP 7.开始推送Binary Log • 再经Binlog同步回WCS 标签索引写入WCS Canal Canal 5.建立链接 Server A Server B 2.允许启动 1.尝试启动 3.检测发现A 不 Canal Client 1.尝试启动可用时通知启动 zookeeper 4.询问当前 running节点host 信息

21 . 标签检索-WCS • 数据一致性 – WCS采用update_time保证数据顺序写入 • 灾备 – Canal进程监控及告警 – MySQL数据作为备份 • WCS查询耗时仅为MySQL 1%左右 MySQL平均耗时 WCS平均耗时

22 . 标签迭代-离线实验 • 标签频繁迭代 – 线上几十个场景近千个标签持续迭代主体服务 – 离线分析任务 WMB 1 提交任务 2 消费回调 4 调用标签服务标签1 标签1 标签1 标签2 标签2 标签2 • 标签服务可插拔模块化提交服务待分析 5 记录离线结果 Request文件 3 获取ASR文本标签3 标签3 标签3 • 离线实验服务/离线库 • 导入线上数据 0 数据同步 Text 日晷AB Test LSTM BERT CNN – 模拟流量回放线上MySQL 离线MySQL 文本库 – 记录结果至离线库

23 .标签迭代-多个专业同学协同配合灵犀智能语音分析实时监控全栈监控离线数据数据存储日志文件等微信/短信/邮件 ASR文本 1.服务质量语音标签数据 2.业务指标 3.第三方监控 Hive WTable WOS MySQL 同步 WCS HDFS 4.各类自定义监控抽样抽样抽样效果展示标注系统统计指标报表脚本后台同学标注数据效果标注 1.运营数据 2.产品策略数据编辑同学数据清洗报表脚本提升服务稳定性/响应速度训练样本算法效果产品同学业务同学算法同学算法迭代功能迭代离线训练优化各类算法效果产品需求提升用户体验

24 .目录 ◼ 灵犀智能语音分析平台 ◼ 架构设计 ◼ 语音语义标签挖掘、存储、检索、迭代 ◼ 标签可视化配置

25 . 标签可视化配置 • 标签迭代频繁 • 提高线上标签迭代效率，降低新业务接入成本

26 . 标签算子自定义配置-开场白标签示例 • 对话前五句中客服说的每句话检测是否出现了”您好”, “你好”，“很高兴为您服务” 任意一个关键词，出现了即命中“开场白标签”

27 . 标签可视化配置 • 场景时长算子条件A – 一个场景由若干个标签组成, 比如通用语音处理，业务标签挖掘正则算子条件B • 标签自定义标签关键词算子条件C – 标签是由若干个条件经由逻辑关系组成的，具有一定业务属性的语音文本标识关键词算子条件D • 比如“没有开场白”、“没有道别语” B&&!C||D&&E 意图算子条件E – 标签从输出位置上可分为 • 单句标签 • 整轮标签

28 . 标签可视化配置 • 条件算子 – 条件是构成标签的重要元素之一条件 – 由算子和检测范围组成检测范围 • 算子 – 是分析检测的最小逻辑单位 – 依据检测方式可分为三大类算子 • 规则文本算子 • 语音算子规则文本算子语音算子 NLP模型算子 • 模型算子

29 . 标签可视化配置 • 检测范围 – 限定了条件算子的检测范围 – 由检测角色, 前置条件, 检测位置, 检测方式构成

0点赞

0收藏

0下载