基于图卷积(GCN)和规则卷积(CNN)的情绪识别
作者丨张玮玮
学校丨东北大学硕士生
研究方向丨情绪识别
引言
论文动机
脑电信号因其易辨伪性、准确性高而被广泛应用于情绪识别。如何描述脑电信号与大脑活动区域之间的关系以及构建脑电情绪识别模型仍然是基于脑电图数据的情绪识别具有挑战性的课题。
基于以往的研究内容可知,CNN 可以利用卷积核提取抽象高层次特征,适用于 1D,2D,3D 规则网格数据。但是脑电通道的分布结构是不规则的,脑电数据并不是规则的欧几里德结构数据。
图卷积对非欧几里德结构数据处理有极大优势,仅需几个层就足以学习图结构的拓扑特征,但是过多的图卷积层可能得不到更多的辨别能力的特征。本文提出了一种兼顾抽象深层特征和拓扑特征的提取方法。
论文工作
本文设计了一个图卷积宽度网络(GCB-Net)来研究脑电图结构数据更深层次的信息。它利用图卷积层来提取图结构输入的特征,并叠加多个规则卷积层来提取相对抽象的特征。最后的连接使用了广义的概念,保留了所有层的输出,允许模型在广阔的空间中搜索特性。为了提高 GCB-Net 的性能,应用了广义宽度系统(BLS)来增强其特性。
GCB-Net知识基础
图卷积神经网络
▲ 图1. 图卷积框架
在图 *G 上,x 和 y 两个信号的卷积表示为:
U 是图的拉普拉斯矩阵 L 的特征矩阵,⊙ 表示 hadamard product,对于两个向量,就是进行内积运算;对于维度相同的两个矩阵,就是对应元素的乘积运算。
将卷积核的图傅里叶变换以对角矩阵的形式表示,其中是对角矩阵,其对角线元素是拉普拉斯矩阵 L 的特征值。
则信号 x 经过卷积核的卷积输出 y 可表示为。
让表示要学习的最优邻接矩阵,信号 x 的图卷积输出为。
采用 K 阶切比雪夫多项式(Chebyshev polynomials)来代替卷积核的图傅里叶变换,以简化计算复杂度。基于 K 阶切比雪夫多项式,可以近似为:
SP-Length 表示从一个节点到另一个节点必须遍历的最小边数。
其中,为切比雪夫多项式系数,是标准化的,标准化后,其对角线元素取值在 [-1,1],为中最大的元素,是 N 阶单位阵。可按以下递推公式计算得到:
即有:
其中,。
上式表示计算 x 的图卷积可以表示为 x 与切比雪夫多项式各分量卷积结果的组合。
利用交叉熵计算的损失函数为:
其中,Θ 是模型参数矩阵,α 是一个正则化系数。模型可以通过以下公式更新 A:
ρ 是模型的学习速率。
宽度学习系统
▲ 图2. 宽度学习系统框架
BLS 提供了一种可选的学习结构,通过随机方法将特性扩展到广阔的空间。网络主要由特征节点和增强节点构成。
输入数据集和标签矩阵表示为与,其中,N 是样本的数量,M 是特征的维数,C 是类的数量。
特征节点可以生成为:
所有特征节点的集合表示为:
同样,增强节点的定义可以写成如下公式:
所有增强节点的集合表示为:
将特征节点与增强节点集成,最终输出可计算为:
论文方法
Original GCB-Net
▲ 图3. GCB-Net框架
如图 3 所示,该网络首先利用切比雪夫图卷积来处理不规则网格数据。然后利用正则卷积提取更高层次的特征。在所有的卷积之后,不同层的输出被平铺成一维向量并连接在一起。然后,对网络进行全连通层预测,并利用 softmax 函数进行预测。Original GCB-net 伪代码如图 4 所示。
▲ 图4. Original GCB-Net伪代码
▲ 图5. GCB-net with BLS伪代码
GCB-net with BLS
▲ 图6. GCB-net with BLS过程
为了提高 GCB-net 的性能,可以使用 BLS 来增强 GCB-net 的特征。首先通过特征映射和增强映射将 GCB 特征扩展到随机的广义空间,然后通过特征节点和增强节点的连接对输出进行预测。GCB-net with BLS 伪代码与示意图如图 5 和图 6 所示。
结果
为了评估本文方法的性能,本文在两个基准的情绪数据库上进行了实验,即 DREAMER 和 SEED。SEED 数据集实验结果如图 7 所示。可以发现,所有模型的识别精度在 β 和 γ 频段都远远高于其他的频段,这与之前的脑电情绪识别研究结果一致。
▲ 图7. SEED数据集实验结果
GCB-net with BLS 取得了最好的效果,验证了模型的有效性。DREAMER 数据集实验结果如图 8 所示,可以观察到,大部分方法在 Dominance 维度识别效果较好,虽然 GCB-net+BLS 的性能相对于 GCB-net 并没有得到提升,但其准确性仍优于或接近 DGCNN 的结果,说明了 GCB 模型的有效性。
▲ 图8. DREAMER数据集实验结果
结论
本文将 GCB-net 引入到情绪识别中,利用 EEG-channel 信号识别情绪,构建了可以探索图结构数据更深层次信息的网络。在这项工作中,首先使用图卷积层来处理图结构输入,然后堆叠多个规则 CNN 层来抽象深层特征。最后,将各个层次的输出连接起来,为模型提供广阔的搜索空间。
点击以下标题查看更多往期内容:
时空域分层神经网络脑电情绪识别模型
EmotionMeter:更精准地识别人类情绪
脑电情绪识别:脑功能连接网络与局部激活信息结合
变分推断(Variational Inference)最新进展简述
从三大顶会论文看百变Self-Attention
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学习心得或技术干货。我们的目的只有一个,让知识真正流动起来。
???? 来稿标准:
• 稿件确系个人原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)
• 如果文章并非首发,请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发,均会添加“原创”标志
???? 投稿邮箱:
• 投稿邮箱:hr@paperweekly.site
• 所有文章配图,请单独在附件中发送
• 请留下即时联系方式(微信或手机),以便我们在编辑发布时和作者沟通
????
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。
▽ 点击 | 阅读原文 | 下载论文
基于图卷积(GCN)和规则卷积(CNN)的情绪识别相关推荐
- 南邮STITP 基于图挖掘的大规模动态交互网络热点区域识别及分布式处理 立项书
本项目旨在利用图挖掘解决大规模动态交互网络的热点区域识别问题,并提供分布式处理方案. 具体研究目标是:建立适合于大规模动态交互网络.基于图挖掘算法的热点区域识别方法:利用分布式处理方案,提高大规模动态 ...
- (DataWhale)图神经网络Task03:基于图神经网络GCN/GAT的节点表征与分类
文章目录 Cora数据集的准备与分析 TSNE可视化节点表征分布 图节点分类模型实现与对比(MLP vs. GCN vs. GAT) MLP分类模型 GCN分类模型 GAT分类模型 结果比较与分析 参 ...
- (DEAP)基于图卷积神经网络的脑电情绪识别(附代码)
1. 数据集介绍以及特征部分见上篇文章: DEAP数据集介绍以及特征提取部分 深度学习基于DEAP的脑电情绪识别情感分类(附代码)_qq_3196288251的博客-CSDN博客 2. 图卷积神经网络 ...
- (论文加源码)基于DEAP的脑电情绪识别(CNN,RNN和两种不同的注意力机制)
论文及源码见个人主页:https://download.csdn.net/download/qq_45874683/85063985 (论文加源码)基于DEAP的脑电情绪识别(CNN,RNN和两种不同 ...
- 论文阅读:基于图神经网络的分类法自动更新模型
Evolving Taxonomy Based on Graph Neural Networks 摘要 分类法是人类对领域知识的理解和组织.在这个知识爆炸的世界中,如何自动进化分类法变得至关重要.在本 ...
- Chemistry.AI | 基于图卷积神经网络(GCN)预测分子性质
GCN: Graph Convolutional Network(图卷积网络) 环境准备 Python版本:Python 3.6.8 PyTorch版本:PyTorch1.1.0 RDKit版本:RD ...
- (21) 出行需求预测新视角---基于图卷积神经网络GCN的出租车OD需求预测
交通预见未来(21): 出行需求预测新视角---基于图卷积神经网络GCN的出租车OD需求预测 1.文章信息 <Origin-Destination Matrix Prediction via G ...
- Survey | 基于图卷积网络的药物发现方法
本期介绍2019年6月发表在Briefings in Bioinformatics的综述,该综述由康奈尔大学等机构的研究人员撰写,系统总结了GCN及其在药物发现方面的最新进展,重点是与药物相关的应用: ...
- 基于图卷积网络的测量与先验知识相结合的故障诊断方法
目录 Graph Convolutional Network-Based Method for Fault Diagnosis Using a Hybrid of Measurement and Pr ...
最新文章
- ES6 常用的特性整理
- bash中 21 的解释
- c#屏幕录制(经典)(含源码和AForge.Video.FFMPEG.DLL)及填坑办法
- 从客户端...中检测到有潜在危险的 Request.Form 值
- WPF中的动画——(四)缓动函数
- 界面优美的linux,Ubuntu 11.04新版发布 诠释精美用户界面
- html界面等待状态,html 等待界面
- HDFS API编程
- python和c先学哪个-初学者python和c语言先学哪个好呢?
- oracle 执行顺序 select查询优化
- mysql node 可视化_使用Prometheus进行Substrate节点可视化监控
- 微带线等效电感电容效果
- python 描述性分析_python数据分析:美国巴尔的摩16年公务员工资数据集描述性分析...
- PDF怎么转换成Word?来看这两个方法
- 【C语言小游戏】答题系统
- arduino笔记20:红外遥控
- 常见的接口测试面试题
- 编译mbedtls (mingw方式)
- 喜马拉雅转道港交所:上半年亏损3个亿,负债200亿元,现金流紧张
- ps 读取计算机特定首选项时出错,Photoshop“正在读取首选项”无法响应的解决办法...