深度学习在时空数据分析中的应用

1 . 深度学习论坛 深度学习在时空数据分析中的应用 Analyzing Spatio-temporal Data with Deep Learning 郑凯 电子科技大学 

2 .目录 PART 01 时空数据研究背景 PART 02 时空数据管理的挑战与机遇 PART 03 深度学习与时空数据的结合 PART 04 深度学习在交通预测中的应用案例 

3 .时空数据管理：源起 • 时间序列数据库 (1980s) • Time series database • 观测数据（实数或者状态值）随 着时间发生变化的历史记录 • 没有空间属性 • 通常固定采样频率 • 时空数据库 (2000s) • Spatio-temporal database • 抽象空间实体（点、线、多边形） 随时间发生变化的历史记录 • 空间数据库 (1990s) • 以及对历史记录的表示、存储、 • Spatial database 索引和检索 • 抽象空间实体（点、线、多边形） • 具有时间和空间属性（动态） 的计算机表示、存储、索引和检 索 • 没有时间属性（静态） 随着数据收集技术以及计算机存储与计算能力的增强，时间和空间维度研究的融合是必然趋势 

4 .时空数据分类 时空都不变（相对静止） 时变空不变 空（集合）变时不变 时空都变（轨迹） 「叠图Map Overlay」是指将相 同时空范围的多个 不同主题的空间物 体进行重叠，以了 解各区位之特性或 找出条件需求之地 理区位位置 

5 .时空数据的来源 Ø 移动物体自身带有的位置跟踪设备所记录的数据 -车载GPS，手机GPS模块 -低功耗GPS Ø第三方传感器所观测记录到的移动物体的变化 -气象卫星，天文望远镜 -监控摄像头 -WiFi，基站 Ø网络空间活动留下的轨迹记录 -签到数据 -带有位置标签的照片 -信用卡记录 

6 .目录 PART 01 时空数据研究背景 PART 02 时空数据管理的挑战与机遇 PART 03 深度学习与时空数据的结合 PART 04 深度学习在交通预测中的应用案例 

7 .时空数据的挑战与机遇（一） • 种类繁多、结构各异 如何有效融合多源异构时空数据并在统一的存储和索引架构下进行支持？ 跨模态的时空存储与索引结构 • 一个索引结构 • 一次搜索过程 • 多模同步剪枝 时空-文本 跨模态索引结构 Zheng et al. ICDE 2013 

8 .时空数据的挑战与机遇（二） • 数据冗余高、价值密度低 • 周期特性 • 群聚特性 • 渐变特性 个体的旅行轨迹通常具有周期重复性 两地之间的群体轨迹往往具有相似性 Work place Home 如何充分利用数据冗余来提高数据利用率和降低存储代价？ • 高压缩率 • 低复杂度 • 压缩数据直接可查询 T' 历史轨迹 R 压缩后轨迹 = 不能被参考轨迹集表示的原始点 + 参考集中的最优子轨迹组合 Zhao and Zheng et al. SIGKDD 2018 

9 .时空数据的挑战与机遇（三） • 与多媒体数据共生、蕴含丰富语义 与文本数据融合 与图像数据融合 与图数据融合 如何有效结合时空数据与多媒体数据来挖掘其蕴含的丰富语义信息？ 时空-文本数据低维嵌入 时空-文本数据主题建模 时空感知的深度神经网络 DASFAA 2017 WSDM 2016 IJCAI 2018 

10 .目录 PART 01 时空数据研究背景 PART 02 时空数据管理的挑战与机遇 PART 03 深度学习与时空数据的结合 PART 04 深度学习在交通预测中的应用案例 

11 .当时空数据遇上深度学习…… • 提供大量丰富多样的数据 • 部署与反馈结果的周期较短 难点： 时空数据 • 如何将数据有效输入深度模型 • 如何在区分时间、空间与上下文 • 解释性问题 • 捕获时间和空间上的关联性 • 融合多种时空数据及其上下文 

12 .深度学习与时空数据分析的结合进展 Traffic Flow Prediction • 车流预测Stack Autoencoder [TITS 2015] Travel Speed/Time Prediction • 人流预测DeepST [SIG SPATIAL 2016], ST- • eRCNN [ICDM 2016] ResNet [AAAI 2017] • LC-RNN [IJCAI 2018] • DeepTTE [AAAI 2018] 通行速度/ 交通流量 时间预测 预测 兴趣点推 出行预测 PoI Recommendation 荐 • ST-RNN [AAAI 2016] Mobility and Transportation Mode • SH-CDL [TKDE 2017] Prediction • PACE [KDD 2017] • DeepTransport [IJCAI 2016] • Geo-Teaser [WWW 2017] • Deep Convolutional Bi-LSTM 交通供需 [UbiComp 2018] 预测 • 轨迹建模 CSSRNN, LPIRNN [IJCAI 2017] Supply-demand Prediction • 网约车供需预测DeepSD [ICDE 2017] • 上下车事件预测StepDeep [KDD 2018] • 多步预测ConvLSTM+Attention [WSDM 2018] 

13 . 参考文献 1. Wang, Dong, Wei Cao, Jian Li, and Jieping Ye. "DeepSD: supply-demand prediction for online car-hailing services using deep neural networks." In 2017 IEEE 33rd International Conference on Data Engineering (ICDE), pp. 243-254. IEEE, 2017. 2. Shen, Bilong, Xiaodan Liang, Yufeng Ouyang, Miaofeng Liu, Weimin Zheng, and Kathleen M. Carley. "StepDeep: A Novel Spatial-temporal Mobility Event Prediction Framework based on Deep Neural Network." In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, pp. 724-733. ACM, 2018. 3. Zhou, Xian, Yanyan Shen, Yanmin Zhu, and Linpeng Huang. "Predicting multi-step citywide passenger demands using attention-based neural networks." In Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining, pp. 736-744. ACM, 2018. 4. Lv, Yisheng, Yanjie Duan, Wenwen Kang, Zhengxi Li, and Fei-Yue Wang. "Traffic flow prediction with big data: A deep learning approach." IEEE Trans. Intelligent Transportation Systems 16, no. 2 (2015): 865-873. 5. Zhang, Junbo, Yu Zheng, Dekang Qi, Ruiyuan Li, and Xiuwen Yi. "DNN-based prediction model for spatio-temporal data." In Proceedings of the 24th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems, p. 92. ACM, 2016. 6. Zhang, Junbo, Yu Zheng, and Dekang Qi. "Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction." In AAAI, pp. 1655- 1661. 2017. 7. Wang, Jingyuan, Qian Gu, Junjie Wu, Guannan Liu, and Zhang Xiong. "Traffic speed prediction and congestion source exploration: A deep learning method." In Data Mining (ICDM), 2016 IEEE 16th International Conference on, pp. 499-508. IEEE, 2016. 8. Wang, Dong, Junbo Zhang, Wei Cao, Jian Li, and Yu Zheng. "When Will You Arrive? Estimating Travel Time Based on Deep Neural Networks." AAAI, 2018. 9. Lv, Zhongjian, Jiajie Xu, Kai Zheng, Hongzhi Yin, Pengpeng Zhao, and Xiaofang Zhou. "LC-RNN: A Deep Learning Model for Traffic Speed Prediction." In IJCAI, pp. 3470-3476. 2018. 10. Song, Xuan, Hiroshi Kanasugi, and Ryosuke Shibasaki. "DeepTransport: Prediction and Simulation of Human Mobility and Transportation Mode at a Citywide Level." In IJCAI, vol. 16, pp. 2618-2624. 2016. 11. Jeyakumar, Jeya Vikranth, Eun Sun Lee, Zhengxu Xia, Sandeep Singh Sandha, Nathan Tausik, and Mani Srivastava. "Deep convolutional bidirectional LSTM based transportation mode recognition." In Proceedings of the 2018 ACM International Joint Conference and 2018 International Symposium on Pervasive and Ubiquitous Computing and Wearable Computers, pp. 1606-1615. ACM, 2018. 12. Wu, Hao, Ziyang Chen, Weiwei Sun, Baihua Zheng, and Wei Wang. "Modeling trajectories with recurrent neural networks." IJCAI, 2017. 13. Zhao, Jing, Jiajie Xu, Rui Zhou, Pengpeng Zhao, Chengfei Liu, and Feng Zhu. "On Prediction of User Destination by Sub-Trajectory Understanding: A Deep Learning based Approach." In Proceedings of the 27th ACM International Conference on Information and Knowledge Management, pp. 1413-1422. ACM, 2018. 14. Yin, Hongzhi, Weiqing Wang, Hao Wang, Ling Chen, and Xiaofang Zhou. "Spatial-aware hierarchical collaborative deep learning for POI recommendation." IEEE Transactions on Knowledge and Data Engineering 29, no. 11 (2017): 2537-2551. 15. Liu, Qiang, Shu Wu, Liang Wang, and Tieniu Tan. "Predicting the Next Location: A Recurrent Model with Spatial and Temporal Contexts." In AAAI, pp. 194-200. 2016. 16. Yang, Carl, Lanxiao Bai, Chao Zhang, Quan Yuan, and Jiawei Han. "Bridging collaborative filtering and semi-supervised learning: a neural approach for poi recommendation." In Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 1245-1254. ACM, 2017. 17. Zhao, Shenglin, Tong Zhao, Irwin King, and Michael R. Lyu. "Geo-teaser: Geo-temporal sequential embedding rank for point-of-interest recommendation." In Proceedings of the 26th international conference on world wide web companion, pp. 153-162. 2017. 

14 .目录 PART 01 时空数据研究背景 PART 02 时空数据管理的挑战与机遇 PART 03 深度学习与时空数据的结合 PART 04 深度学习在交通预测中的应用案例 

15 .交通预测是现代城市管理的核心问题之一 路径推荐 Predict 核心问题: 交通预测 (Traffic Prediction) 到达时间预测（ETA) 交通事件预警与监测 

16 .交通预测技术体系 ARIMA系列 (Auto Regressive Integrated Moving Average) Seasonal ARIMA, KARIMA, ARIMAX, space-time ARIMA Time-series Structural Time-series method Model(STM) Support Vector Regression Traffic Non- Local Linear Regression flow/speed/time parametric prediction method K-NN Bayesian Network ANN HMM TD Deep DeepTTE 采用 attention 机制，不用 mean pooling Learning 直接指定前 m 个上游路 eRCNN 段和后 m 个下游路段 ST-ResNet 基于网格结构的粗粒度预测 LSTM 利用前序路况信息，忽略网 DCNN 络拓扑结构 LC-RNN 选定最多的周边路段数目作为固定 值，其他不足的用当前路段来补充 

17 .交通速度预测（Traffic Speed Prediction） 输入： 如何嵌入网络拓扑结构 如何考虑附近道路的关联性 道路网络的拓扑结构 每条路段的历史速度向量 如何考虑长时间周期性的影响 其它环境因素的影响 输出：每条路段未来时间段的预测速度 

18 .LC-RNN 模型概览 Lookup Convolution 对空间关 联性进行 建模 对周 期性 进行 建模 对时间关联 性进行建模 提取环境变量 融合 

19 .实验 n Beijing Dataset n Shanghai Dataset n About 10 thousand roads n About 1.5 thousand roads n From 1st Mar to 31st Jul in n From 1st Mar to 31st Apr in 2016 2015 n 10 weather, 2 public holidays n 6 weather conditions, and 8 and 20 weekends weekends n Train vs test is 4:1 n Train vs test is 3:1 

20 .总结与展望 时空数据 • 数量大，来源广，应用多 • 极易与其它结构化、半结构化和非结构化数据结合 • 对分析个体和群体行为具有很高的价值 • 在时间和空间维度具有动态性、关联性和不确定性等特点 深度学习 • 具有强大的隐特征提取和表达的能力 • 网络模型丰富、可扩展性强 • 可以将时间、空间和上下文信息统一嵌入 • 需要大量的训练数据 前沿热点 • 跨模态时空数据的深度融合技术 • 深度强化学习在时空数据预测中的应用 • 利用事件知识图谱对时空数据进行推演分析 • 时空兴趣点推荐模型的可解释性研究 

21 .THANKS http://www.zheng-kai.com Email: zhengkai@uestc.edu.cn