深度学习技术在搜狗搜索广告中的深化应用

1 .深度学习新技术在搜狗搜索广告中的深化应用 搜狗搜索广告应用策略研究组 舒鹏 2018年12月 

2 . 01 搜索广告背景知识 02 典型任务：自动化创意 目录 CONTENTS 03 典型任务：点击率预估 04 若干思考 

3 .搜索广告背景知识 信息需求 用户查询 结果展示 点击及后续行为 自动化 点击日志 查询理解 广告召回 点击率预估 排序计价 展示日志 广告库 日志收集 

4 .搜索广告背景知识 竞价博弈机制 竞价博弈机制 客户竞价行为研究、点击效果评价以及客户转化预估、博弈机制 设计 典型任务： 宏观 指导 自动化创意 检索和推荐体系 CTR预估 搜索广告实际竞价系统的算法问题：广告召回、点击率预 检索&推荐体系 估、相关性（BadCase过滤）、自动化创意、排序、计费 自然语言理解层次 基础 基础研究工作：通过自然语言处理、数据挖掘、机器 学习方法让机器理解查询、用户、广告。 自然语言理解 

5 .典型任务：自动化创意 

6 . 自动化创意 流程 结果 创意匹配 创意展示 • 创意挖掘 • 选择最佳创 • 创意生成 • 文本相关性 意 • 组装渲染 • 图文匹配 创意来源 样式优选 

7 . 自动化创意：创意来源 创意来源 创意挖掘 创意生成 用户行为分析 CVAE 落地页分析 GAN 购买行为分析 seq2seq 创意生成：CVAE 

8 . 自动化创意：创意来源-挖掘 用户行为分析：Session切分 论文提出一种基于LSTM和 attention机制的session切分方 法，可以更好的区分用户查询序 列中的间隔，以更准确地识别用 户查询意图，对于广告召回、相 关性等任务均有一定帮助。 Cong Du, Peng Shu and Yong Li, CA-LSTM: Search Task Identification with Context Attention based LSTM. SIGIR-18(CCF A), Short Paper, 2018. Sogou Inc 

9 .自动化创意：文本相关性计算 1、字符串匹配 • 经典的IR算法，如，基于广告库的字符串赋权 2、语义匹配 • Topic model，如，PLSA • 统计机器翻译，如，query rewrite，同义模板归一化 • 实体识别 3、意图匹配 • 大规模数据挖掘，如，二部图挖掘 • 推荐技术，如，SVD++ 4、深度学习 • seq2seq • 神经机器翻译 

10 . 自动化创意：文本相关性计算 无需分词：基于字符粒度表达的问答系统设计 L.X Meng, Y.Li, M.Y Liu, P Shu. Skipping Word: A Character-Sequential Representation based Framework for Question Answering. CIKM2016, pages 1869-1872, 2016. Sogou Inc 

11 .自动化创意：图文匹配 ResNet-50层 CNN CNN LSTM LSTM LSTM Cosine-Loss 中长款牛仔外套 中长款 牛仔 外套 CNN-LSTM Encoder 

12 .关键点：数据 数据规模 数据质量 积极寻找当前场景下的关 数据规模 数据质量 探索基于大规模无标签数 联数据源； 据的有效算法，降低算法 对噪音的敏感度 积累更长时间数据并有效 利用； 适当补充标注数据，解 决疑难杂症 

13 .典型任务：CTR预估 

14 .CTR预估流程 Data Feature Model Online 原始数据 领域特征 模型训练 线上Server 查询特征 特征抽取 查询日志 线性模型 广告特征 CTR预估 点击日志 非线性模型 匹配特征 Rank 

15 .搜狗搜索广告CTR预估模型的演化历程 线性模型 非线性模型 级联融合模型 深度融合模型 特征工程 GBDT LR+GBDT Wide & Deep FTRL DNN LR+DNN NFM FM 

16 .级联融合模型 PV OneHot LR 特征 Train LR Model OFFLINE Sample Feature Click Maker Ctr特征/模 DNN DNN 型中间结果 Train Model Session Float DNN Model CTR Table Feature One Case ALL 特 ONLINE Bidding Retriever One 征 Final Server Server Hot CTR 池 特征 LR OneHot Model Feature ModelFeature的引入：LR+DNN级联融合 

17 .深度融合模型：Wide & Deep … 1、改造MxNet，以支持Sparse Tensor … … 2、深度定制Embedding层，提高训练速度 … … … 3、将PS server中的参数更新由CPU移至GPU，减少通信开销 4、使用InfiniBand通信(56Gb/s)，满足分布式训练时大规模 … … 参数更新的需要 … 5、使用多维Embedding，优化算法选择和参数调优 Deep 6、采用流式加载训练数据的方式，解决使用多天数据训练时 内存不足的问题 Wide Embedding 

18 .模型效果评估 Survival Bias 特征覆盖率 AUC：ROC曲线下方的 面积 上线收益 是否一致？ 

19 .现状和计划 现状 已经实现Wide & Deep 模型的全流量上线，收益较好 … 受限于线上计算资源，模型复杂度有限 … … Sum-pooling … … Inner-product … … … … 计划 set set 线上服务拆分，采用低功耗GPU加速 Wide Width=1 Width>1 支撑更宽、更深、更复杂的网络结构 Deep 尝试NFM等模型，提升特征自动组合能力 

20 .若干思考 

21 .若干思考 1 2 复杂模型 高质量数据 更宽、更深、更复杂 自动交叉 VS 原始数据去噪 多源数据接入 强化学习 GAN自动生成 所处理任务的理论上限是多少？ 暴力计算是否可行？ 

22 .THANK YOU！ Q&A