实时计算和深度学习在国美智能推荐系统中的应用实践-杨骥-国美控股集团

1 .实时计算和深度学习在国美智能推荐系统中的应用实践 杨骥 

2 . 目录 2 国美多业态场景 深度学习在国美多业态推荐场景中的实践 START Ghantom推荐系统 

3 . 目录 3 国美多业态场景 深度学习在国美多业态推荐场景中的实践 START Ghantom推荐系统 

4 .国美多业态 4 

5 .新零售|多业态 5 多业态 目标 产品 人 智能导购 用户 货 会员管理 场 导购 精准选品 新零售 广告 店 推荐 供应商 推荐 后服务 服务 

6 .场景1：详情页相似商品推荐 6 详情页位置关键 关联推荐 业务贡献度高 需品类、品牌、价格等商品维度 目的是减少用户购物路徂深度 负反馈 

7 .场景2：首页猜你喜欢 7 首页入口，位置关键 个性化展位，准确性要求高 召回池规模大 兼顾用户多维度兴趣 第一屏关键槽位贡献度高 商品多样性 

8 .场景3：购物车页猜你喜欢 8 收入再增长入口 再次选择 精准搭配 兴趣回顾 关键槽位贡献度高 商品多样性 

9 .场景4：移动端首页猜你喜欢 9 移动端商品信息流 槽位多 每屏曝光商品少 精确度要求高 实时兴趣反馈 Position Bias 

10 .场景5：无人店刷脸推荐 10 14 视频客服 智能导购 自动支付 人脸识别 

11 .场景5：无人店刷脸推荐 11 新零售线下场景 强调入口效应 时段特征 召回结合规则和模型 线上&线下行为统一 多样性 

12 .精准推荐的关键问题 12 架构 召回 排序 

13 . 目录 13 国美多业态场景 深度学习在国美多业态推荐场景中的实践 START Ghantom推荐系统 

14 .通用架构的思考 14 架构 Pros & Cons 用户发起 推荐请求 用户 优势 特征 按照模型，配制 逻辑简单，符合机器学习 计算 出各维度特征 常用的workflow 预测 丌足 工程师线上&线下代码逻 根据行为、用户画像 模型预测，根据场景 召回 辑很难保证一致 推荐服务 线上 召回商品 离线训练模型需恢复数据 需求进行业务规则过 接收请求 服务 滤，生成展示列表 场景 延时较长，影响体验 线上服务大多数情况下资 源利用率低 

15 .事件触发流程 15 request 用户 exposure 实时行为 预先生成展 位候选列表 缓存 离线信息 数据变化，触发相关 特征计算 特征变化，触发模型 fake request 进行预测 特征生产 模型预测 

16 .国美数据驱动的推荐系统 16 

17 .Flink流式处理引擎 17 

18 .Flink优势 18 流处理和批处理统一 Event Time & 乱序事件 状态计算的 Exactly-Once 语义 迭代和增量迭代 高吞吐 & 低延时 高度灵活的流式窗口 

19 .基于Flink的实时召回 19 PC APP WAP 猜你喜欢召回池 实时变化 

20 .基于Flink的实时特征计算 20 … 20181121 19:09.11,uid1,show,(skuid1,sku2,sku3…) … … 20181121 19:09.37,uid1,view,productid1,skuid1 20181121 19:11.21,uid2,order,productid2,skuid2 sku1 Feature_1:catidA … Feature_2:catidB … … … … Feature_3:c….. Feature_4:b….did SKU基础特征 品牌基础特征 品类基础特征 用户基础特征 SKU基础特征 品牌基础特征 品类基础特征 用户基础特征 SKU1基础特征 品牌1基础特征 品类1基础特征 用户甲基础特征 全局特征 Feature_5:sxxxpid 总浏览次数 总浏览次数 总浏览次数 在线时长 总浏览次数 总浏览次数 总浏览次数 在线时长 总浏览次数 总浏览次数 总浏览次数 在线时长 实时PV Feature_6:p_name 加购次数 加购次数 加购次数 最近浏览的商品 加购次数 加购次数 加购次数 最近浏览的商品 加购次数 加购次数 加购次数 最近浏览的商品 实时UV Feature_7:c…1 下单次数 下单次数 下单次数 已购商品 下单次数 下单次数 下单次数 已购商品 下单次数 下单次数 下单次数 已购商品 实时订单数 … 总曝光次数 收藏次数 消费总金额 总曝光次数 收藏次数 消费总金额 总曝光次数 销量TopN 收藏次数 消费总金额 实时客单价 sku2 Feature_1:catidA 实时点击率 客单价 实时点击率 客单价 … 实时点击率 点击趋势 销量TopN 客单价 当前在线人数 实时转化率 实时转化率 实时转化率 品牌TopN 平均浏览时长 … … … … … … … … … … … … … 最近5分钟 最近30分钟 最近1小时 最近3小时 最近6小时 最近24小时 

21 .基于Flink的实时接口监控 21 

22 .数据驱动的推荐系统Ghantom 22 

23 .Ghantom编译不部署 23 • 代码构建层级 • 如右图 • 从下往上构建 • 使用gitlab-Runner • 编译环境 • docker • 部署环境： • K8S 

24 . 目录 24 国美多业态场景 深度学习在国美多业态推荐场景中的实践 START Ghantom推荐系统 

25 .个性化推荐部署流程 25 效果 数据 部署 CHART INFORMATION There are many variations of 处理 passages available. 模型 目标 特征 

26 .个性化推荐 26 召回 规则/CF SVD/FM/bpr-mf Session-based RNN 排序 LR/GBDT/SVM Ranknet/LambdaMART DNN 效果评估 A/B test MAB(多臂赌博机) 

27 .个性化推荐 27 召回 规则/CF SVD/FM/bpr-mf Session-based RNN 排序 LR/GBDT/SVM Ranknet/LambdaMART DNN 效果评估 A/B test MAB(多臂赌博机) 

28 .常规召回算法 28 Collaborate Filtering FP-tree SVD++ Factorization Machine bprmf Generic Element-wise ALS 

29 .常规召回算法徃解决的问题 29 丌考虑用户行为序列性 计算量大 热销商品影响 丌考虑时间因素