智能语音机器人助力企业提效增收

1 . 区 cn 社 g. 能 cu 智 ai 工 w. G人 智能语音机器人助力企业提效增收 ww CU 李 忠 AI 58同城TEG技术工程平台群AI Lab 

2 .关于我 区 cn 社 g. 能 58同城算法架构师 cu 智 ⚫ ai 工 ⚫ 58同城AI Lab 智能语音部负责人 智能 智能 问答 问答 w. G人 语音 对话 语音 识别 语音 分析 智能 写稿 ww CU AI Deep Learning WPAI Machine Learning 58人工智能平台 58AILab公共号 

3 .目录 区 cn 社 语音机器人整体架构 g. 能 ⚫ cu 智 ai 工 ⚫ 语音交互如何更智能 w. G人 ww CU AI ⚫ 语音机器人如何为企业提效增收 

4 . C端用户 AI 浏览帖子 ww CU w. G人 ai 工 58同城生活服务介绍 cu 智 g. 能 cn 社 发帖子 区 B端商家 

5 . 语音交互架构 区 cn 社 正则匹配 意图分类 g. 能 词槽提取 语义匹配 声音信号分类 语音识别(ASR) 语意理解(NLU) … cu 智 声音听不清 ai 工 事件或指令 话术 w. G人 ww CU 语音合成(TTS) 系统回复 对话管理器 AI 录音 (NLG) 知识库 

6 . 人机语音交互示例 区 cn 社 您好，我是58同城客服，看到您之前咨询过二手车，可以为您做个回访吗？ 开场白 g. 能 超时无响应 … 您好,您还在听么? 超时回复 cu 智 你好 问候 ai 工 您好! 问候回复 肯定意图 w. G人 嗯，你说 您好，我是58同城客服，看到您之前咨询过二手车，可以为您做个回访吗？ 拉回策略 ww CU 请问新车和二手车是否都在您的考虑范围内吗 需求了解 提供信息 只考虑二手车 AI 那您最近关注的是哪款车呢？我们可以将最新的降价信息推送给您 车型了解 继续聆听 那个 江宁福特。迪 提供信息 维欧 好的，我这先帮您记录下来，最后请问下您贵姓 姓名了解 姓王 提供信息 好的，请你稍后保持电话畅通，后期会有专业销售联系您，祝您生活愉快， 结束并挂机 再见！ 

7 . 话术 区 cn 社 正则 你好，我是58同城负责招 g. 能 聘的顾问，麻烦问下我们 开场白 公司近期有招人的计划吗 意图 用户行为+响 cu 智 应策略 用户行为+响 用户行为+响 槽位 应策略 响应策略 ai 工 应策略 经理，您先别着急挂断，从 指令 后台数据来看，目前您的同 w. G人 你招聘的是 什么岗位呢 行业都在做招聘，我想您是 不是也要做人员储备了。您 主要招聘什么岗位呢？ …. ww CU 用户行为+响 那您计 应策略 划招多 用户行为+响 AI 少人呢？ 应策略 这样，稍后让我们专业的客户 经理跟您联系，再深入沟通一 下，看看如何协助您尽快招到 那不好意思, 打 合适的人，祝您生活愉快，再 见！ 扰您了 

8 .人机交互如何更智能 区 cn 社 语音预处理-最大程度去干扰 g. 能 ⚫ cu 智 ⚫ 意图识别 ai 工 ⚫ 语意匹配 w. G人 ⚫ 槽位提取 ww CU AI 

9 . 语音预处理 区 cn 社 造成ASR错误的二类主要原因 g. 能 ⚫ cu 智 ⚫ 语音听不清 ai 工 ⚫ 噪音，背景音造成ASR转译错误 ⚫ VAD错误 w. G人 ww CU ⚫ 文本信息丢失 AI ⚫ 错误文本带入 文本信息丢失 可能错误引入 

10 .语音预处理-听不清分类 区 cn 社 10s, 16k 标签 说明 1s right 正确-普通话 g. 能 Fbank right_dialect 正确-方言 cu 智 right_robot 正确-机器音 … … right_noise 正确-噪音 ai 工 Conv3-64 wrong 错误-普通话 pool2 dialect 错误-方言 w. G人 Conv3-128 pool2 Conv3-512 noise robot 错误-噪音 错误-机器音 ww CU pool2 vad_b_err 错误-断句起点 vad_e_err 错误-断句终点 AI Conv3-512 pool2 silence 静音 FC4096 deafness 听不清 FC4096 128 … 128 128 … 128 将每1s的向量进行拼接， 128*10 softmax 听 正 常 不 清 

11 .语音预处理-VAD 区 cn 社 g. 能 cu 智 ai 工 人声段 人声段 人声段 人声段 人声段 w. G人 ww CU 人 AI 声 VadNet 识 46% 别 WebRTC 准 确 Vad 率 双限门 短时能量与过零率 

12 .语音预处理-VAD 区 cn 社 200ms, 16k g. 能 STFT cu 智 … … ai 工 Conv3-4 pool2 w. G人 Conv3-8 pool2 Conv3-16 ww CU pool2 AI Conv3-32 pool2 R … N N softmax 非 人 声 人 声 

13 . 意图识别 区 cn 社 g. 能 序号 标签 意图 说明 您好，我是58同城负责招聘的顾问，麻烦问 1 affirm 肯定 表达肯定态度，如：“是的。没错。” 系统：开场 下咱公司近期有招人的计划吗？ cu 智 2 negate 否定 表达否定态度。如：“不需要、不用了” 白 3 busy 在忙 对方不方便。如：“我现在没空、我在开车” 用户：问候 喂你好 4 not_understand 不理解 没听懂说话者的意思。如：“不懂。不明白” ai 工 5 keep_listen 继续聆听 表示对方一句话未说完。如：“你”、“我还” 嗯一直在招 用户：肯定 6 inform 提供信息 提供业务相关信息，如：“在北京、在找工作、招司机” 系统：问岗 您招聘的是什么岗位？ w. G人 7 request 提问 询问信息。如：“什么是网络推广？价格怎么样？” 8 confirm 确认 确认某信息。如：“是明天吗？不行吗？58同城吗？” 位 9 request_alts 更换 更换选择。如：“有没有更便宜的？还有其他的么？” 用户：肯定 什么都招 10 request_compare 对比 对比方案，如：“哪个更便宜？去北京还是上海？” offer对方或offer自己。如：“已开通**套餐、我注册过 系统：问人 那您计划招多少人呢？ 数 ww CU 11 offer 提供方案 了、我已经买过了。” 12 suggest 建议 提供建议。如：“能大点声吗？” 用户：提问 你们一年多少钱啊 1. 用户骂人； 不同价位的套餐包含的资源不一样，具体 AI 2. 用户说“不要再给我打了”； 13 hangup 挂断 3. 打错了； 系统：回复 产品我可以让专业的客户经理给你做详细 4. 对方也是机器人系统通常会给出结尾语后挂断。 标准问题 介绍 14 goodbye 再见 如：“再见、拜拜” 系统：拉回 那您计划招多少人呢？ 15 greeting 问候 如：“喂、你好” 16 thankyou 感谢 如：“谢谢” 用户：提供信 啊招招十几个吧 17 you_are_welcome 客气 如：“没事儿、没关系” 息 18 sorry 抱歉 如：“不好意思、抱歉、对不起” 这样，稍后让我们专业的客户经理跟您联 系统：结束 系，再深入沟通一下，看看如何协助您尽 19 chat 闲聊 可以用通用闲聊模块，范围相对较大。 快招到合适的人，祝你生活愉快。再见！ 

14 . 意图识别 区 cn 社 g. 能 您好，我是58同城负责招聘的顾问，麻烦问 卷积层 池化层 输出层 系统：开场 下咱公司近期有招人的计划吗？ cu 智 白 用户：问候 喂你好 … … … … … ai 工 嗯一直在招 dim=256 … 单句意图 … 用户：肯定 … … … 系统：问岗 您招聘的是什么岗位？ 嗯 v1 … 肯定:0.97 w. G人 v2 … 位 一 … 什么都招 v3 否定： 直 … 用户：肯定 v4 … 0.0001 在 … … 系统：问人 那您计划招多少人呢？ Softmax 招 … … … 提问： 数 ww CU 0.001 … 用户：提问 你们一年多少钱啊 vT-1 … 提供信 息:0.002 … 不同价位的套餐包含的资源不一样，具体 AI … 系统：回复 产品我可以让专业的客户经理给你做详细 … … … 标准问题 介绍 filter size … 挂 系统：拉回 那您计划招多少人呢？ … 断:0.00012 用户：提供信 啊招招十几个吧 dim=256 息 这样，稍后让我们专业的客户经理跟您联 系统：结束 系，再深入沟通一下，看看如何协助您尽 快招到合适的人，祝你生活愉快。再见！ 

15 .Bert在单句意图识别上的应用 区 BERT话术相似度计算 cn 社 g. 能 cu 智 单句意图 BERT Pre-Train Model 肯定 ai 工 T1 T2 TN … 否定 V-CLS w. G人 CLS Trm Trm … Trm w1 V1 提问 w2 w3 V2 Softmax Trm Trm … Trm … 提供信息 … ww CU wT VT … SEP FC E1 E2 … ET V-SEP 挂断 AI 句子中的单词ID，CLS 训练分类 为句子的分类占位符， BERT预训练模型 训练分类时，只取 时，只取 用于微调的 用于训练分类器 CLS对应 CLS对应的向量 全连接层 的向量 (1)使用官方中文预训练模型（12-layer, 768-hidden, 12-heads） (2)使用业务场景数据预训练 

16 . 标准问题匹配 区 cn 社 g. 能 您好，我是58同城负责招聘的顾问，麻烦问 系统：开场 下咱公司近期有招人的计划吗？ cu 智 问题 答案 问题类型 白 用户：问候 喂你好 网络推广是什么 网络推广是指… 标准问题 ai 工 网络推广啥意思 扩展问法 用户：肯定 嗯一直在招 网络推广是啥 扩展问法 系统：问岗 您招聘的是什么岗位？ 价格是多少 你们怎么收费的 多少钱 w. G人 不同价位的套餐… 标准问题 扩展问法 扩展问法 位 系统：问人 用户：肯定 那您计划招多少人呢？ 什么都招 数 ww CU 用户：提问 你们一年多少钱啊 不同价位的套餐包含的资源不一样，具体 AI 系统：回复 产品我可以让专业的客户经理给你做详细 标准问题 介绍 系统：拉回 那您计划招多少人呢？ 用户：提供信 啊招招十几个吧 息 这样，稍后让我们专业的客户经理跟您联 系统：结束 系，再深入沟通一下，看看如何协助您尽 快招到合适的人，祝你生活愉快。再见！ 

17 .标准问题匹配DSSM 区 cn 社 g. 能 0.96 0.03 0.01 cu 智 exp(𝛾𝑅(𝑆𝑄, 𝑈𝑄)) 计算概率：𝑃 𝑆𝑄 𝑈𝑄 = σ ′ Softmax 𝑆𝑄 ∈𝑺𝑸 exp(𝛾𝑅(𝑆𝑄 , 𝑈𝑄)) ′ ai 工 相似度：R SQ, UQ = cos(𝑦𝑆𝑄, 𝑦𝑈Q) co co co w. G人 s s s 句向量：𝑦 UQ Sentence Vector SQ+𝟏 Sentence Vector SQ− 𝟐 Sentence Vector SQ− 𝟑 Sentence Vector ww CU Encoder Encoder Encoder Encoder AI 编码器：BI-LSTM q q q x x x y y y z z z 1 2 … M 1 2 … …K 1 2 … L 1 2 … N U 你们一年多少钱 S 你们怎么收费的 S 暂时不需要 S 可以免费试用吗 Q Q+𝟏 Q−𝟐 Q−𝟑 

18 . 基于Bert的相似度模型 区 BERT话术相似度计算 cn 社 计算相似度：在单句意图预训练的基础上，左右分别输入两个句子，每个句子使用“有效”部分的向量，即每个字对应的向量，进行 MaxPooling得到整个句子的向量，最后经过余弦相似度计算出两个句子的相似度。 g. 能 BERT Pre-Train Model cu 智 T1 T2 … TN V-CLS F Trm Trm … Trm V1 C ai 工 CLS 不 w1 不是 V2 是 w2 SEP Trm Trm … Trm … w. G人 E1 E2 … ET V2 V-SEP Max-Pool Cosine Similrit 相似 度 ww CU y BERT Pre-Train Model T1 T2 … TN V-CLS AI Trm Trm … Trm V1 CLS 我 w1 我是 V2 是 w2 SEP Trm Trm … Trm … V2 F V-SEP C E1 E2 … ET 

19 . 槽位提取 区 cn 社 词槽:电器 词槽:日期 g. 能 B I E O O B E O O O O O O 您好，我是58家政智 电 视 机 坏 了 明 天 可 以 来 修 吗 ? 能助手，我们收到了 cu 智 您的订单维修订单， .. .. .. .. .. .. .. .. .. .. .. .. .. 请问有什么能帮到您？ CRF层 ai 工 电视机坏了明天 可以来修吗？ .. .. .. .. .. .. .. .. .. .. .. .. .. 你是什么牌子的电视 机？ w. G人 全连接层 .. .. .. .. .. .. .. .. .. .. .. .. .. ww CU 索尼的 Repeat Stacked … … … IDCNN层 ……… ……… ……… ……… … ……… concat AI … … ……… ……… ……… 请问明天几点在家？ … … … … … … Dilation=1 Dilation=1 Dilation=1 Dilation=2 我明天下午 Embedding层 2点在家 .. .. .. .. .. .. .. .. .. .. .. .. .. 电 视 机 坏 了 明 天 可 以 来 修 吗 ? 

20 . AI ww CU w. G人 ai 工 cu 智 g. 能 智能语音交互在58的应用 cn 社 区 

21 . AI 电话机器人 ww CU w. G人 ai 工 cu 智 g. 能 cn 社 区 … 销售 回访 通知 信息验真 商机挖掘 

22 . ⚫ ⚫ ⚫ ⚫ 运营提效 客服提效 商机挖掘 销售提效 实用场景 AI ww CU w. G人 ai 工 cu 智 g. 能 cn 社 区 

23 .销售提效 区 cn 社 商机库 g. 能 cu 智 ai 工 w. G人 ww CU AI 空号、号码异常等 无意向: 快速挂断， 初步有意向 直接拒绝，骂人等 比例大，影响 效率、士气 

24 .销售提效 区 cn 社 商机库 g. 能 cu 智 多轮语音交互 ai 工 w. G人 号码状态判断 商机 ww CU 治理 AI 对话文本 意向判断 商机分层 有 无 中 意 性 意 向 向 人工跟进 

25 . 销售提效 AI 商机库 ww CU w. G人 200-300 ai 工 cu 智 g. 能 cn 社 区 有意向 程序配置 

26 . 商机挖掘 1 影响体验 AI ww CU w. G人 2 ai 工 cu 智 g. 能 cn 社 区 商机流失 

27 .商机挖掘 区 cn 社 辅助商家确认用户需求 g. 能 多轮语音交互 cu 智 ai 工 您好;我是58同城官方客服;看到您 在58找家电维修服务;想对您做个回 对话内容 还没有 w. G人 访;请问您已经找到商家服务了吗？ 文本挖掘分析 ww CU 我想清洗洗衣机 成本 商机线索 十几 AI 麻烦您说一下所在街道或者小区名; 我们为您就近匹配维修师傅 万元 XXXX街十五号。 那麻烦您再说一下具体哪天有时间？ 我给您备注一下;让师傅再跟您约时 收益 间 百万元 今明两天吧。 好的;感谢您的信任; 稍后会有商家 电话联系您;祝您生活愉快;再见！ 

28 .客服提效 区 cn 社 g. 能 您好，我是58同城会员的智能客服，恭喜 您的58账号已经开通，现在耽误您1-2分 钟的时间与您核实账号相关信息。后期人 cu 智 工客服会为您提供更加便捷的一对一服务。 请问您是该58账号的负责人吗？ ai 工 安全提示 是 w. G人 好的，为保障您的账号安全，请认真听以 下的温馨提示。请您妥善保管您的密码、 验证码，不要以任何理由向任何人泄漏， 我们的工作人员不会以任何形式向您索要 密码验证码，请您提高防范意识。请问您 ww CU 听清楚了吗？ 清楚了 AI 好的，您若有操作相关的疑问也可以在 58商家中心右下角的帮助中心-新手引导 区域查看视频教程；或点击商家中心右侧 的智能客服进行疑难问题咨询。后期人工 专属客服会为您提供定期回访、问题处理 安全提示 等服务，请注意接听022座机，感谢您的 接听，祝您生活愉快，再见！ 

29 .运营提效 区 cn 社 您的账号XXX已有超过两分半 g. 能 您有一条新订单，请尽快到58商家通app中—点击 钟的未读消息，请及时登录移动经 在线接单—查看我的订单，进行接单操作；接单限 时30分钟，超时会取消；请注意及时接单 cu 智 纪人查看并回复 ai 工 w. G人 ww CU AI 提高平台B&C两端连接 效率， 提升服务质量