论文题目：《A multi-task attention tree neural net for stance classification and rumor veracity detection》
翻译：一种用于立场分类和谣言准确性检测的多任务注意力树神经网络

检测方法：用公众的立场判定帖子的真假。
创新：提出了一个谣言对话术

初始化解释

1 谣言对话树

谣言对话树中包含的数据分为三部分
第一部分是用户信息
第二部分是帖子的文本信息
第三部分是谣言对话树节点之间的结构信息。结构信息可以进一步建模为全局结构特征和局部结构特征。局部结构特征旨在对节点与其邻域或分支之间的结构信息进行建模，而全局结构特征则用于表示整个谣言对话树中分支的结构关系

2 立场分类

“支持”、“否认”、“评论”和“质疑”

3 谣言真实性检测

真实、虚假、未验证

树结构的探索

1 为什么要用树结构

树的结构模型更适合于根级识别。

2 树结构的探索：

旧
①Spectal-GCN很难扩展到具有不同结构的会话树，且专注于全局结构信息和图分类任务，如谣言监测和谣言准确性检测，但是很难实现到结点分类任务，比如立场分类。
②GTA关注的是每个分支的局部特征，而不是多个会话分支之间的全局结构特征
很少有GNN是专门为谣言对话设计的，提取他们的结构特征，并在单个机器学习框架联合处理两个任务（立场判定和谣言准确率计算）
新
最近提出了基于调整会话树的神经网络,LSTM树和CRF树，但是这些神经网络在会话分支中近似地执行线性合并过程，而不是对多个会话分支之间的结构特征进行建模。

3 创新：树和网络

树（贡献点1）

作者提出的树：从不规则的对话树中构建完整的K-ary规则的谣言对话树。（RC-Trees）

网络（贡献点2）

基于RC树的多任务注意树神经网络。（MATNN）

立场判定思路

使用自注意力机制来提取其领域中每个节点的局部特征，并且对其进行立场分类。

谣言准确性计算思路

然后根据立场特征，设计树卷积和树池化运算，提取全局结构特征，检测谣言的准确性。

自注意力机制及树自注意的发明

相似系数、自注意系数、自注意特征。

1 相似系数

指定节点领域中特征的相似性，例如余弦相似性 ( x , y ) = x ∗ y ∥ x ∥ ∗ ∥ y ∥ (x,y)=\frac{x*y}{\left \| x \right \|*\left \| y \right \|} (x,y)=∥x∥∗∥y∥x∗y

2 自注意系数

s e l f _ a t t e n t i o n ( x , y ) = s o f t m a x ( s i m i l a r i t y ( x , y ) ) self \_ attention(x,y)=softmax(similarity(x,y)) self_attention(x,y)=softmax(similarity(x,y))

3 自注意特征

h x ( f e a t u r e ) = a c t i v e _ f u n c t i o n ( ∑ y ∈ n e i g h b o u r ( x ) s e l f _ a t t e n t i o n ( x , y ) ∗ f e a t u r e ) h_x(feature)=active\_function(\sum_{y \in neighbour(x)}self \_ attention(x,y)*feature) hx(feature)=active_function(∑y∈neighbour(x)self_attention(x,y)∗feature)

4 树自注意

自注意特征使用在具有规则线性结构或者网络结构的数据上，但是谣言对话结构是不规则的。
所以我们设计了，树自注意力，可以用于不规则的谣言对话树。

RC-Trees谣言对话树

用户特征、帖子的文本信息和谣言对话树的结构信息

紫色是局部结构信息，蓝色是全局结构信息，红色是用户特征和文本信息。

构建

第一步，编号

层次遍历，对会话树的结点进行编号，不改变节点之间的结构关系

第二步，记录

记录所有会话树中的最大深度H和节点的度K。

第三步，构建规则

根据H和K，设计规则，所有的对话都可以转换为RC树。
①如果节点i的子节点小于K，复制节点i到节点i的子节点，直到子节点的数量达到K
②将①扩展到每个节点，直到树中每个分支的深度达到H。因此事件中的所有会话树都可以转换为H深K元的RC树。

构建出现的新问题以及解决办法

节点的复制虽然不会加剧立场标签的不平衡，但是会改变原始立场标签的数量和比例。

解决办法
记录RC-Trees的节点和原始会话树节点之间对应关系序列，用于将RC-Trees的标签转换为原始会话树，以检测原始会话的位置。

MATNN

网络组成

MATNN包含两个子神经网络：
一个用于立场分类的树自注意子网络
一个用于谣言准确性检测的树卷积子网络；

树自注意立场分类

RC-trees包含节点属性F和其邻接矩阵A。
f = { f 1 , f 2 , ⋯ , f N } f=\left \{f_1,f_2,\cdots,f_N \right \} f={f1,f2,⋯,fN}
f i f_i fi由节点i的用户特征和文本特征组成。
N是RC-Trees中的节点数 N = ( K H − 1 ) / 2 N=(K^H-1)/2 N=(KH−1)/2

构建的H深K元RC-Trees的邻接矩阵是相同的，但是原始会话树的相应邻接矩阵是不同的。

相似系数
S i m i l a r i t y i j = N e u r a l V ( W f i , W f j ) = N e u r a l V ( c o n c a t ( W f i , W f j ) ) Similarity_{ij}=Neural_V(Wf_i,Wf_j)\\ =Neural_V(concat(Wf_i,Wf_j)) Similarityij=NeuralV(Wfi,Wfj)=NeuralV(concat(Wfi,Wfj))
W、V是可学习的参数

注意力系数
α i j = s o f t m a x ( S i m i l a r i t y i j ) = e x p ( S i m i l a r i t y i j ) ∑ k ∈ T r e e _ N e i g h b o u r _ i e x p ( S i m i l a r i t y i j ) \alpha_{ij}=softmax(Similarity_{ij})\\ =\frac{exp(Similarity_{ij})}{\sum_{k\in Tree\_Neighbour \_i}exp(Similarity_{ij})} αij=softmax(Similarityij)=∑k∈Tree_Neighbour_iexp(Similarityij)exp(Similarityij)
T r e e _ N e i g h b o u r _ i Tree\_Neighbour \_i Tree_Neighbour_i是节点i的领域

节点i的注意力特征 f i f_i fi
h i = s i g m o i d ( ∑ j ∈ T r e e _ N e i g h b o u r _ i α i j W ′ f j ) h_i=sigmoid(\sum_{j \in Tree\_Neighbour \_i} \alpha_{ij}W'f_j) hi=sigmoid(∑j∈Tree_Neighbour_iαijW′fj)
W ′ W' W′是特征提取中的学习权重。

因为考虑到节点复制机制的影响，引入多头注意力机制来平衡节点效果
h i = s i g m o i d ( 1 K ∑ k = 1 K ∑ j ∈ T r e e _ N e i g h b o u r _ i α i j k W ′ k f j ) h_i=sigmoid(\frac{1}{K}\sum_{k=1}^K \sum_{j \in Tree\_Neighbour \_i}\alpha_{ij}^kW'^kf_j) hi=sigmoid(K1∑k=1K∑j∈Tree_Neighbour_iαijkW′kfj)
K是多头注意力机制中的头的数量， W ′ k W'^k W′k是第k个头的权重

用于谣言准确性检测的树卷积神经网络

包括树卷积和树池化

树卷积

由树卷积核定义，并且使用K+1个可训练的参数化向量遍历RC树中的每个K-ray
遍历过程类似于遍历图像的传统卷积核

给定根节点i的H深的K元立场特征，隐藏层表示 X p , q l , t X_{p,q}^{l,t} Xp,ql,t，通道t和层 l l l
X p , q l , t = R e L U ( ∑ r = 1 f t − 1 ∑ a = 1 N t − 1 W l , r ∗ X p , q l − 1 , a + b p , q l , t ) X_{p,q}^{l,t}=ReLU(\sum_{r=1}^{f_{t-1}} \sum_{a=1}^{N_{t-1}}W^{l,r}*X_{p,q}^{l-1,a}+b_{p,q}^{l,t}) Xp,ql,t=ReLU(∑r=1ft−1∑a=1Nt−1Wl,r∗Xp,ql−1,a+bp,ql,t)

p 是深度
q 是第q颗树
结点 ( p , q ) (p,q) (p,q) 指的是p深的第q颗树
f t − 1 f_{t-1} ft−1 指的是 l − 1 l-1 l−1层的特征数量
ReLU 激活函数
X p , q l , t X_{p,q}^{l,t} Xp,ql,t 指定是 l l l层的节点 ( p , q ) (p,q) (p,q)的第t个特征
W l , r W^{l,r} Wl,r是在 l l l层，从第r个通道到第t个通道的可学习的滤波器
b p , q l , t b_{p,q}^{l,t} bp,ql,t是偏置

树池化

目的：实现多尺度变换，有效的根和节点被保留下来，重新组合成一个更小的RC-Tree

树池化操作：
X p , q l = max ⁡ n ∈ N s u b { X p , q l − 1 } X_{p,q}^l=\max_{n \in N_{sub}} \left \{ X_{p,q}^{l-1}\right\} Xp,ql=maxn∈Nsub{Xp,ql−1}
p是深度
n是第n个节点
N s u b N_{sub} Nsub是RC-Tree的子树

论文评价： . .

论文阅读【A multi-task attention tree neural net for stance classification and rumor veracity detection】相关推荐

论文阅读笔记：Intriguing properties of neural networks
论文阅读笔记:Intriguing properties of neural networks 深度学习对抗样本的开山之作要点以往的观点认为深度神经网络的高层特征中每一个分量描述了一种特质,但是这 ...
深度学习论文阅读目标检测篇（三）：Faster R-CNN《 Towards Real-Time Object Detection with Region Proposal Networks》
深度学习论文阅读目标检测篇(三):Faster R-CNN< Towards Real-Time Object Detection with Region Proposal Networks&g ...
【论文阅读】深入理解Attention机制
1. 什么是Attention机制? 其实我没有找到attention的具体定义,但在计算机视觉的相关应用中大概可以分为两种: 1)学习权重分布:输入数据或特征图上的不同部分对应的专注度不同,对此Ja ...
论文阅读+实战：SimGNN：A Neural Network Approach to Fast Graph Similarity Computation
Part 1: 论文阅读论文链接:SimGNN: A Neural Network Approachto Fast Graph Similarity Computation 1. 摘要图相似性搜索 ...
综述论文阅读”A comprehensive survey on graph neural networks“（TNNLS2020）
论文标题 A comprehensive survey on graph neural networks 论文作者.链接作者:Wu, Zonghan and Pan, Shirui and Chen ...
剪枝综述论文阅读：Methods for Pruning Deep Neural Networks
文章目录一.概述 1.分类 2.评估二.Magnitude based pruning 1.权重剪枝 2.彩票定理 3.特征图和过滤器剪枝 (1)基于通道方差的剪枝 Inbound pruning ...
【论文阅读】Dynamic Convolution: Attention over Convolution Kernels（CVPR2020）
论文题目:Dynamic Convolution: Attention over Convolution Kernels(CVPR2020) 论文地址:https://arxiv.org/abs/19 ...
【论文泛读】XFlow: Cross-Modal Deep Neural Networks for Audiovisual Classification
论文题目:XFlow: Cross-Modal Deep Neural Networks for Audiovisual Classification 时间:2019 来源:IEEE TNNLS 论文 ...
论文阅读 Contrastive Learning-Based Dual Dynamic GCN for SAR Image Scene Classification (TNNLS2022)
论文标题 Contrastive Learning-Based Dual Dynamic GCN for SAR Image Scene Classification 论文作者.链接作者: Liu, ...

论文阅读【A multi-task attention tree neural net for stance classification and rumor veracity detection】