Spark Streaming 在腾讯广点通的应用

1 .中国 Spark 技术峰会 2016 Spark Streaming 在腾讯广点通的应用 

2 .关于腾讯广点通 腾讯社交广告 ( Tencent Social Ads ) • 基于腾讯社交网络体系的广告平台 流量覆盖 • QQ 客户端、手机 QQ • 微信 • QQ 音乐客户端、腾讯新闻客户端 主动型效果广告 • 有效实现更加智能的广告匹配和高效的广告资源利用 广告形式 • Banner 广告、插屏广告、开屏广告、信息流广告等 

3 .广点通与 Spark Streaming Spark 0.x ~ 1.1 社区贡献 • 调研、试验 Spark 1.2 ~ 1.6 • 使用 • 1.2 加入了 driver 故障恢复 左侧图片来源：https://databricks.com/blog/2015/07/30/diving-into-spark-streamings-execution-model.html 

4 .Agenda 概述 • Spark Streaming 基本架构 • Spark Streaming at 广点通 特性与应用 优化经验 

5 .Spark Streaming 基本架构 图片来源：http://www.datanami.com/2015/11/30/spark-streaming-what-is-it-and-whos-using-it/ 

6 .Spark Streaming 基本架构 Worker Node Driver Program Executor StreamingContext input Long stream Task Receiver Spark Jobs to process received data Spark context Worker Node tasks Executor output process results received data in batches Task Task 

7 .Spark Streaming at 广点通 腾讯 Spark 技术栈（powered by ) TDBank Tesla message queue Spark Streaming 监控与拉起 Spark Streaming at 广点通 #apps #cores data volume peak rate ~30 ~2000 ~70 TB/day ~600 k/sec 

8 .Agenda 概述 特性与应用 • (1) exactly-once • (2) 可靠状态 • (3) batch 调度 优化经验 

9 .特性与应用-(1) exactly-once Spark 执行单元 input … … output • 任务（即一批数据） (5) (5) (10) (10) • 一批数据全部成功/全部失败 … Task 重做 input (5) (5) … … output • 失败重做：task 重做、stage 重做 (5) (10) (10) • 推测执行：另一个节点同时做 … … output • Committer: 任务唯一成功 input (5) (10) (10) (5) … … output (5) (10) (10) 其它系统 • Storm: at-most-once input … … output (5) (5) (11) (12) Storm: at-least-once input … … output • MapReduce: exactly-once (5) (5) (9) (8) 

10 .特性与应用-(1) exactly-once 应用：实时准确数据转移 Dedupli Trans Clean Join cate form 应用：反作弊 + 计费！！！ Anti Clean Join Billing Strategies Spam 

11 .特性与应用-(2) 可靠状态 Spark Streaming 天然面向状态 • RDD: Resilient Distributed Datasets • RDD lineage - 容错：重做 • rdd.checkpoint() - HDFS, S3… 等 可靠状态管理 • Spark 1.5: updateByKey() • Spark 1.6: [kv store] mapWithState() • Spark 2.0: [kv store] StateStore 图片来源：https://databricks.com/blog/2015/06/22/understanding-your-spark-application-through- visualization.html 

12 .特性与应用-(2) 可靠状态 应用：跨 batch 聚合（pv/uv 计算，记录去重，微额记账等） 

13 .特性与应用-(2) 可靠状态 应用：跨 batch 聚合（pv/uv 计算，记录去重，微额记账等） 

14 .特性与应用-(3) 快速 batch 调度 MapReduce 的实例调度 • 一级调度系统（oozie 等） 10m 10m 10m - 最小间隔 10 min - 进程调度 ... - 需要一定启动时间 Spark Streaming 的 batch 调度 • 一级调度系统（oozie 等） • 二级调度系统 5s 5s - Driver / JobScheduler 调度 ... 5s 5s - 间隔 1s ~ 60s - 进程常驻+线程调度、无启动时间 5s 5s 

15 .特性与应用-(3) 快速 batch 调度 应用：数据指标监控 30s input result input 30s input result input 应用：复杂 pipeline 的 未成功数据唯一快速重试 30s fail 1 30s fail 1 30s 

16 .Agenda 概述 特性与应用 优化经验 • (1) 增加 Memory Back Pressure • (2) 为 Spark 增加新特性（无需编译 Spark 优化） • (3) SparkSQL API > RDD API • (4) async execution within a task • (5) try-cath • (6) concurrentJobs 开启 • (7) Spark 远程调试 

17 .优化经验 (1) 增加 Memory Back Pressure • Receiver 的接收速率随 Executor 的内存使用动态放缩，避免 OOM 

18 .优化经验 (2) 为 Spark 增加新特性（无需编译 Spark 工程） • A. 直接改源文件 ***.scala - src 原包名下，如 src/o/a/s/streaming/receiver/RateLimiter.scala - 运行参数：spark.driver/executor.userClassPathFirst=false; spark.driver/executor.extraClassPath=app.jar • B. 直接改字节码 ***.class - resources 原包名下，如 resources/o/a/s/executor/Executor.class - 运行参数：spark.driver/executor.userClassPathFirst=false; spark.driver/executor.extraClassPath=app.jar A B 

19 .优化经验 (3) SparkSQL API > RDD API • Run faster - Catalyst Optimizer - Tungsten Engine – Memory Management – Cache-aware Algorighms – Whole Stage Codegen • Spark 1.x - dstream.foreachRDD { rdd => rdd.toDF().select… } • Spark 2.x: Structured Streaming - spark.….stream.….startStream() 图片来源：Real-time Spark: From interactive queries to streaming 

20 .优化经验 async execution / within a task (4) async execution within a task • 应对外部操作：线程池+异步 (5) try-catch val inputDStream = ssc.fileStream("...") inputDStream.foreachRDD(rdd => { try { • task 的错误，会在 driver 端抛出 // do something } catch { • 屏蔽 "Could not compute split" 等问题 } case NonFatal(e) => errorHandler(e) }) (6) concurrentJobs 开启 • 内部参数，同时执行 n 个 output - 一般 1 个 batch 对应 1 个 output • spark.streaming.concurrentJobs = n 

21 .优化经验 (7) Spark 远程调试 • your profiler 按需分发 图片来源：https://www.ej-technologies.com/products/jprofiler/whatsnew91.html 

22 .总结与展望 总结 特性 应用 实时准确数据转移 (1) exactly-once 反作弊 + 计费！！！ 跨 batch 聚合 (2) 可靠状态 （pv/uv 计算，记录去重，微额记账等） 数据指标监控 (3) 快速 batch 调度 复杂 pipeline 的未成功数据唯一重试 展望 • From Lambda Architecture(MR + Storm) to Spark Streaming • Spark 2.0: Structured Streaming - High-level streaming API built on Spark SQL engine - Event time, windowing, sessions, sources & sinks 

23 .Thanks!