深度学习在58租房搜索排序中的实践-崔凌云

1 . .c n c ug .a i ww w 社 区 智能 工 【第十九期】搜索推荐深度学习专题 人 U G A I C 

2 . .c n c u g 深度学习在58租房搜索排序中的实践 . a i w ww 社 区 智能 人工 U G I C A 分享嘉宾：崔凌云-算法架构师 

3 .分享大纲 .c n c ug ⚫ 背景介绍 .a i ww ⚫ 深度学习实践之路 w 社 区 ⚫ 总结与思考 智能 ⚫ 后续工作 人 工 U G A I C 

4 . .c n c ug .a i ww w 背景介绍 社 区 智能 人工 U G A I C 

5 .背景介绍-业务场景 .c n c ug .a i ww w 社 区搜索排序优化目标： 智能 帖子点击量 人工 CTR = 帖子展现量 U G A I C CTCVR = 连接量 帖子展现量 

6 .背景介绍-搜索排序的发展历史 .c n LR/FM/ c g u .a i Xgboost 等 w 引入深度学习模型 2015年 ww 社 区 智 能 2018年 时间序+业务 人工 引入机器学习模型 DeepFM/DIN 策略 U G /DIEN/Bert等 A I C 

7 . 背景介绍-搜索排序核心架构 n 线下 c 线上 g . u 日志 历史log 实时log i c 列表页请求 日志解析 模型库 w .a w ABtest w LR 帖子维度 用户维度 上下文 区 XGB 模型加载 特征 社 文档特征 历史个性化 维度 平台 能 FM 反馈特征 实时个性化 智 DeepFM 召回 样本关联 人工 DIN 粗排 U G 精排 C DIEN I 线下 特征 模型 A 采样 训练 处理 训练 BERT 上线 query及相关数据 打分验证工具 业务策略&去重打散 验证 效果报表 

8 . 背景介绍- 基础特征 分类 具体特征 用户id .c n c ug i 用户访问时间 .a 用户维度 用户搜索query,关键词等 ww 用户行为偏好统计，如对价格、面积偏好 w 区 帖子id 基 础 能 社 帖子点击或转化行为 智 帖子位置，包括全局位置、当前页面等 特 征 帖子维度 人工 房源具体信息，包括价格、面积等 G 房源所在经纬度、城市、区域等 I CU 用户搜索位置与房源的距离 A 与用户行为统计的匹配信息，包括偏好值、是否用户最偏好等 统计的历史及实时CTR、CVR信息 上下文 曝光时间及分段信息、曝光与刷新时间差、有效曝光标识等 类目id、页面刷新id 

9 .背景介绍-传统机器学习的挑战 .c n c ug .a 特征开发：人力成本高，难以利用多模态信息 i ww w 区 训练目标：仅支持单目标，难以实现多目标 社 难点 智能 工 用户兴趣：无法模拟兴趣的形成过程 人 U G特征交叉：难以学习多特征交叉信息 A I C 

10 . .c n c ug .a i ww w 深度学习实践之路社 区 智能 人工 U G A I C 

11 .深度学习实践之路-优化路径 .c n c u g .a i DeepFM DIN ww DIEN w 社 区 优化路径 智能 人工 U G单目标 传统多目标 ESMM A I C 

12 .深度学习实践之路-DeepFM .c n c ug .a i ww w 社 区 智能 人工 U G DeepFM的特点： A I C • FM和Deep共享embedding • 同时学习低维和高维交叉信息 • 不需要进行额外的特征工程 

13 . 深度学习实践之路-DIN（Deep Interest Network） DIN模型的创新点： .c n • 引入用户历史行为序列 c ug • Attention机制 .a i ww w 社 区 智能 人工 U G A I C 

14 .深度学习实践之路-DIEN DIEN模型的创新点： .c n c ug • 兴趣提取层（辅助损失函数） .a i • 兴趣发展层（+Attention） ww w 社 区 智能 人工 U G A I C Deep Interest Evolution Network 

15 .深度学习实践之路-多目标优化 先 点击 再 连接 .c n c ug .a i ww w 社 区 智能 人工 U G 电话 A I C 微聊 。。。 

16 . 深度学习实践之路-多目标优化 1、传统的多目标模型结构： 2、ESMM： .c n c u g .a i CTCVR task ww w 区 用户的转化行为必须依赖于点击 能 社 工 智 G 人 I CU A 𝐿𝑜𝑠𝑠 = 𝑤𝑐𝑡𝑟 ∙ 𝐿𝑜𝑠𝑠𝑐𝑡𝑟 + 𝑤ct𝑐𝑣𝑟 ∙ 𝐿𝑜𝑠𝑠ct𝑐𝑣𝑟 𝐿 𝜃𝑐𝑣𝑟 , 𝜃𝑐𝑡𝑟 = 𝐿𝑜𝑠𝑠𝑐𝑡𝑟 + 𝐿𝑜𝑠𝑠ct𝑐𝑣𝑟 𝑁 𝑁 = ෍ 𝑙 𝑦𝑖 , 𝑓 𝑥𝑖 ; 𝜃𝑐𝑡𝑟 + ෍𝑙(𝑦𝑖 &𝑧𝑖 , 𝑓 𝑥𝑖 ; 𝜃𝑐𝑡𝑟 ∗ 𝑓(𝑥𝑖 ; 𝜃𝑐𝑣𝑟 ሻሻ 𝑖=1 𝑖=1 

17 . 深度学习实践之路-上线效果 多目标优化的效果明显优于单目标的效果 .c n DIEN在多目标优化方面的效果更明显 c ug DIEN+ESMM的多目标方式要比传统的多目标方式更适合租房的场景 .a i ww w 上线效果（VS XGBoost） 模型 优化目标 区 CTR CTCVR CTR 能 社 -0.16% 1.71% 智 DeepFM CTR:CTCVR=1:1 1.55% 6.55% 人工 CTR:CTCVR=1:10 0.33% 11.71% DIN U G CTR 3.28% 5.59% A I DIEN C CTR:CTCVR=1:10 CTR 2.30% 3.71% 10.65% 4.99% CTR:CTCVR=1:10 3.22% 14.79% DIEN+ESMM CTR:CTCVR=1:150 +0.64%(vs传统多目标) +3.25%(vs传统多目标) 

18 . 深度学习实践之路-其他离线实验 1、加入用户聚类信息： 2、建模位置特征： .c n c ug .a i ww w 社 区 智能 人工 GAUC（VS DIEN） G 模型 CTR CTCVR I CU DIEN+Pos +0.0096 +0.0075 A DIEN+用户聚类 +0.0053 +0.0037 

19 . 深度学习实践之路-工程方面的工作 线下流程加入用户行为序列： .c n c ug .a i ww w 社 区 智能 序列长度分布 人工 U G A I C 80%的用户一周内的序列长度为小于50 最终序列长度设置为50 

20 . 深度学习实践之路-工程优化 1、Tensorflow 组件使用优化 .c n c u g . a i （1）Batch Normalization：需要手动保存参数moving_mean、moving_variance 供预测时（ is_traning =0）使用 w ww 社 区 理论上： 智 能 基于经验的方法：当前 μ工 G 人 n = 0.1 * μ + 0.9 * μ n n-1 I CU A （2）Dice激活函数：是添加了BN的prelu，也存在上述同样的问题 （3）Dropout：预测时需要手动关闭dropout 

21 . 深度学习实践之路-工程优化 2、针对用户序列长度不等问题的优化 .c n c ug i 按最长序列进行构建 .a 加入用户序列的mask信息 短序列进行了0值填充 编码后的特征直接进行concat ww 利用mash对编码后的特征做了截取 w 社 区 智能 人工 U G A I C GAUC 绝对值提升1.37% 

22 . 深度学习实践之路-工程优化 3、数据读取提速 .c n c u g . a i 采用dataset进行数据读取，dataset可以并行处理数据，将耗时的预处理部分 w 放在多个CPU进行处理 w w 使用同batch size、一天的训练数据（约2000万）进行离线实验 区 离线GPU利用率由10%提升至50%，模型训练时间由7小时降低到1小时 4、预测优化-序列化数据格式转换 能社 工 SCF内部使用的RPC框架，提供跨平台的二 智 进制序列化解决方案 人 将List 转换为IC U G float[] A 基础数据类型数组，如int[]或 使用简单的数据传输格式，SCF序列化效率 有比较好的提升 

23 . 深度学习实践之路-工程优化 5、预测优化-用户维度的特征序列简化 .c n c ug 一次用户请求 .a i 用户维度的特征相同 ww w 社 区 序列化时只保留一 个数据的信息 智能 人工 U G 数据预处理时再进行 A I batch数据的填充C 优化后SCF序列化的数据量减小了90%，数据组装时将batch大小由10提升到20，线 上超时率由3-5%降到0.5-0.7%，模型访问平均耗时降低5ms 

24 .思考与总结 学习高维交叉特征 .c n c ug 模型结构优化 用户兴趣优化 .a i ww w 区 多目标优化 社 智能 数据读取速度 工 性能优化 加速线下模型迭代 G 人 降低线上延时 I CU 序列化阶段优化 A 了解原理 组件优化 区分训练和预测 

25 . 展望：后续工作 .c n 1. DIEN Attention 模块加入用户转化行为序列进行模型优化（进行中） c u g . a i w 2. 借助深度学习将图像信息引入模型优化（进行中） ww 社 区 3. 借助深度学习引入语义特征（进行中） 智能 人 工 U G A I 4. 引入自动学习 C 

26 . .c n c ug .a i ww w 谢谢 社 区 智能 人工 U G A I C 

27 . .c n c ug .a i ww w 社 区 智能 人工 U G A I C