当生理时间序列分类遇上人工智能

1 .当生理时间序列分类遇上人工智能 贾子钰 北京交通大学 计算机与信息技术学院 ziyujia@bjtu.edu.cn 2021.01.28 

2 . 目录 ◼ 时间序列概述 ◼ 生理时间序列概述 ◼ 相关的深度学习模型 ⚫ 运动想象 MMCNN （ECML-PKDD 2020） ⚫ 睡眠分期 GraphSleepNet （IJCAI 2020） ⚫ 情感识别 SST-EmotionNet (ACM MM 2020) ◼ 总结 

3 .何为时间序列？ 

4 . 时间序列 ◆时间序列 时间序列是按照时间排序的一组随机变量，它通常是在相等间隔的时间段内 依照给定的采样率对某种潜在过程进行观测的结果。 ◆时间序列的分析与挖掘 在过去的二十年中，时间序列的分析与挖掘被认为是数据挖掘中最具挑战性 的问题之一[1]。 交通流量时间序列 金融时间序列 [1] Fawaz, Hassan Ismail, et al. "Deep learning for time series classification: a review." Data Mining and Knowledge Discovery 33.4 (2019): 917-963. 

5 .何为生理时间序列？ 

6 . 生理时间序列 心电ECG 脑电EEG等 

7 . 生理时序分类-应用 ◆医疗健康 重获肢体能力、运动康复、与周围环境进行交流、基于可穿戴设备进行健康评估 

8 . 生理时序分类-应用 ➢ 教育 ➢ 军事 ➢ 智能家居 学生注意力值的实时探测和训练 脑控无人机、无人车、机器人 ➢ 刑侦审讯 ➢ 电子 ➢ 交通 商务 ➢ 娱乐(游戏) 安全 淘宝造物节黑科技-淘宝意念购 疲劳检测、驾驶员精神状况监测 

9 .MMCNN: A Multi-branch Multi-scale Convolutional Neural Network for Motor Imagery Classification ECML-PKDD 2020 Oral 论文链接：https://bitbucket.org/ghentdatascience/ecmlpkdd20- papers/raw/master/RT/sub_589.pdf 论文代码：https://github.com/ziyujia/ECML-PKDD_MMCNN 

10 .背景 脑机接口(BCI): 建立了人脑与外界的联系. 运动想象(MI): 一种基于BCI的经典EEG范式. 脑电图(EEG): 一种电生理活动. 优点：低成本，低风险. Beijing Jiaotong University 

11 . 相关工作 传统方法: · EEG 信号: 非线性,非平稳,低信噪比. ◆ 空间特征: CSP[1], FBCSP[2] ◆ 时频特征: 傅里叶变换, 小波变换+SVM 传统方法: 需要手动提取特征. 深度学习模型: · 深度学习模型: 需要在特定频段过滤原始 ◆ Shallow ConvNet [3] EEG信号. ◆ Deep ConvNet[3] ◆ EEGNet [4] [1] Fukunaga, K.: Introduction to statistical pattern recognition (1990) [2] Ang, K.K., et alC.: Filter bank common spatial pattern(fbcsp) in brain-computer interface. In: 2008 IEEE International Joint Conference on Neural Networks (IEEE World Congress on Computational Intelligence). pp.2390–2397. IEEE (2008) [3] Schirrmeister, R.T., et al.: Deep learning with convolutional neural networks for eeg decoding and visualization. Human brain mapping 38(11), 5391–5420 (2017) [4] Lawhern, V.J., et al.: Eegnet: a compact convolutional neural network for eeg-based brain–computer interfaces. Journal of neural engineering 15(5), 056013 (2018) Beijing Jiaotong University 

12 .现象与挑战 受试者差异: 最佳卷积尺度随着不同受试者 时间差异: 最佳卷积尺度随着不同时间 而变化. 而变化. 

13 . MMCNN 结构 Multi-branch Multi-scale Convolution Neural Network 模型优势: ◆ 解决了的问题: 受试者差异和 时间差异. ◆ 输入为 未过滤的数据. ◆ 需要的EEG通道数较少 

14 . MMCNN 结构 EEG Inception block: 实现多尺度卷积 Iq表示在不同的EIN中的EIB模块的输出，其中下标q表示 不同的五个EIN分支(q = a/b/c/d/e)，pj,k表示每个EIB内第j 个小分支中的第k个滤波器的参数，*表示卷积操作，x表 示输入的样本，T‘表示时间点数。 Beijing Jiaotong University 

15 . MMCNN 结构 Residual block[5]: 避免随着层数增加而网络退化 Uq表示该模块的输出，Iq表示输入，即上一个EIB 模块的输出。这样，从浅层中提取的特征可以传 递到深层中，从而改善网络退化的问题。 [5] He, K., Zhang, et al.: Deep residual learning for image recognition. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 770–778 (2016) Beijing Jiaotong University 

16 .MMCNN 结构 Squeeze and Excitation block: 自适应的提取最主要的脑电特征。 SE block包含了Squeeze操作和Excitation操作。 Beijing Jiaotong University 

17 .实验 数据集 BCI 竞赛 IV 2b 数据集1: 一个左右手运动 想象的双分类数据集.数据集包括9名受试 者. BCI 竞赛 IV 2a 数据集2: 包含9名受试者 执行运动想象任务的数据. 1:http://www.bbci.de/competition/iv/#dataset2b 2:http://www.bbci.de/competition/iv/#dataset2a Beijing Jiaotong University 

18 .数据集BCI 竞赛 IV 2a和2b的结果 Beijing Jiaotong University 

19 .消融实验 多尺度卷积 的消融实验 不同组件 的消融实验 Beijing Jiaotong University 

20 .总结 主要贡献: ◆ 利用多尺度卷积神经网络解决了受试者差异和时间差异问题； ◆ 利用SE Block 进行自动的特征选择进行高精度的分类； ◆ 输入数据未经过任何预处理（滤波）； ◆ 提出模型在EEG通道数较少的情况也能达到不错的效果； ◆ 通过实验验证了ELU激活函数优于RELU. 

21 . GraphSleepNet: Adaptive Spatial-Temporal Graph Convolutional Networks for Sleep Stage Classification IJCAI 2020 Oral 论文链接：https://www.ijcai.org/Proceedings/2020/184 论文代码：https://github.com/ziyujia/GraphSleepNet 

22 . Introduction 睡眠： • 人的一生中约有三分之一的时间都在睡眠中度过， 睡眠质量的好坏直接影响到人类的身心健康； • 睡眠分期是评估睡眠质量和诊断睡眠障碍的重要手段。 人工睡眠分期： • 睡眠专家会根据睡眠分期标准和多导睡眠图 （PSG）对睡眠阶段进行划分； • 人工睡眠分期是一项繁琐且耗时的任务； • 睡眠专家的主观性和可变性易影响睡眠分期的结果。 自动睡眠分期： • 提高传统睡眠分期的效率； • 具有重要的临床价值。 Beijing Jiaotong University 

23 .Related Work 睡眠分期 ·传统机器学习： ◆ 支持向量机和随机森林等方法。 ◆ 需要手工设计特征，且要求大量的先验领域知识。 ·卷积神经网络和递归神经网络： ◆ FDCCNN[1]，SeqSleepNet[2]，DeepSleepNet[3]等。 ◆ 输入必须是网格数据 (类似于图像)。 

24 . Motivation & Challenge ·网格数据的局限性： ◆ 大脑区域间的连接关系被忽视。 ◆ 由于大脑处于非欧氏空间，因此图是最 适合用于表示大脑连接性的数据结构。 Grid data Graph data ·对大脑的功能连接进行建模： ◆ 图卷积神经网络在处理图数据中展示了相当优异的表现[4,5]。 ◆ 现有的工作往往使用的是固定的图结构，但是睡眠是一个动态的过程。 ◆ 人类对大脑的理解是有限的。 挑战1：如何为睡眠分期确定合适的图结构。 Beijing Jiaotong University 

25 .Motivation & Challenge 挑战2：如何有效地提取时空特征。 ◆ 在睡眠期间，大脑区域的空间特性是不同的。 ◆ 在时间维度上，睡眠阶段之间存在着过渡规则。 AASM睡眠分期标准中 的睡眠阶段过渡规则[6] ◆ 挑战2.1：如何将图卷积有效的应用于睡眠分期。 ◆ 挑战2.2：如何利用相邻睡眠阶段之间的过渡规则。 

26 . Methods GraphSleepNet: 自适应时空图卷积网络 自适应图学习模块，解决网络构建问题 贡献： ◆第一次将时空图卷积用 于睡眠分期任务。 ◆一种新颖的自适应睡眠 图学习机制。 ◆我们设计了一种时空图 卷积。 ◆实现了睡眠分期领域中 的最优结果。 时空图卷积提取睡眠时空特征 Beijing Jiaotong University 

27 .Methods 挑战1：如何为睡眠分期确定合适的图结构。 方法1：我们提出了一种自适应睡眠图学习 机制. ◆ 与时空图卷积集成在统一的架构中。 ◆ 动态的构造邻接矩阵A。 ◆ 利用损失函数中的第二项以控制邻接矩 阵A的稀疏性。 Beijing Jiaotong University 

28 . Methods 挑战2：如何有效地提取时空特征。 方法2：我们设计了一种时空图卷积架构。 a) 空间维度：利用图卷积聚合空间信息。 ◆ 使用基于谱图理论的图卷积方法。 ◆ 利用图拉普拉斯算子的切比雪夫展开来降低计算复杂性。 Beijing Jiaotong University 

29 . Methods 挑战2：如何有效地提取时空特征。 方法2：我们设计了一种时空图卷积架构。 b) 时间维度：使用卷积神经网络进行卷积操作以提取睡眠阶段间的过渡规则。 c) 时空注意力：自动提取有价值的信息。 Beijing Jiaotong University