论文阅读【Multimodal Disentangled Domain Adaption for Social Media Event Rumor Detection】
谣言检测存在的两大挑战
①纠缠挑战：在现实的社交媒体平台上，谣言总是与具体内容纠缠在一起。同一事件，谣言间的差异也很大。忽略了内容与风格之间的联系。
②领域挑战：已有的事件训练的模型对新发生的事件指导性效果不大(没有标签)。
社交媒体事件谣言检测任务旨在检测没有标记数据的新兴社交媒体事件的谣言。
结论
本文研究了社交媒体平台所面临的现实谣言检测场景：社交媒体事件谣言检测，目的是在没有标记数据的情况下，对新兴的社交媒体事件进行谣言检测。 针对社交媒体事件谣言检测的挑战，提出了一种新的多模态解纠缠域自适应(MDDA)方法。 它由两个主要部分组成：多模态解纠缠表征学习和无监督域自适应。 多模态解纠缠表示学习负责将多媒体帖子分解为事件内容信息和谣言写作风格信息。 无监督领域自适应是去除事件特有的特征，保持事件之间共享的谣言风格特征。 在两个Twitter基准数据集上进行的大量实验表明，我们的谣言检测方法比现有的方法取得了更好的结果。
初始化定义
训练 D S = { p i , y i } i = 1 N S D_{S}=\left \{p^i,y^i \right \}_{i=1}^{N_{S}} DS={pi,yi}i=1NS
S为事件
N S N^S NS为此事件的帖子数量
p i p^i pi，事件下的一个帖子，由 x i x^i xi和 v i v^i vi文本和图片共同组成
y i ∈ ( 0 , 1 ) y^i\in\left (0,1\right ) yi∈(0,1)，此帖子的标签
实验 D T = { p i , y i } i = 1 N T D_{T}=\left \{p^i,y^i \right \}_{i=1}^{N_{T}} DT={pi,yi}i=1NT
T为要检测的新事件
N T N^T NT为此事件的帖子数量
方法
模型组成
①多模态解纠缠表示学习
删除统一事件，不用帖子的不同特征，保留分析不变内容的谣言风格特征。
②无监督领域的适应
采用对抗性神经网络学习的领域自适应，从多媒体帖子中学习可转移的特征。基于谣言风格特征，训练检测器。
多模态解纠缠表示学习
表现不佳的原因是，每个帖子都有自己的内容，如果都要参考的话，那么对于训练出来的数据模型，表现都不会好。
所以这个结构的主要作用就是将内容和风格分割出来，用风格进行训练。针对文本和图片要进行分别解纠缠。
①文本解纠缠表示学习
变分自动编码器作为基本模型。三种特殊的编码器。
第一个是普通的编码器 E X b E_{X}^{b} EXb，学习文本的潜在分布
第二个是内容编码器 E X c E_{X}^{c} EXc，学习文本内容
第三个是风格样式编码器 E X S E_{X}^{S} EXS，学习谣言写作风格。
疑难杂症
①RNN、LSTM、GRU
零基础上手RNN、LSTM
模型结构
所提出的多模态解纠缠域自适应（MDDA）方法的说明。MDDA首先执行多模态解纠缠表示学习，将多媒体表示帖子分离为内容特征和风格特征，并删除特定于内容的特征进行训练。如果没有对内容信息的干扰，仅从风格特征中训练出来的谣言分类器就会更加精确和健壮。
然后采用基于对抗性学习的领域自适应来处理不同事件上的风格表示分布漂移。通过这种方式，MDDA可以处理社交媒体事件的谣言检测任务，并在新出现的事件中持续表现良好。
红线是推理管道。一旦模型被训练，目标数据可以直接输入样式编码器和标签预测器，以得到标签预测。
问题1：什么叫Down Sampling？（待完善）
降采样
问题2：什么叫Residual Blocks？（待完善）
防止梯度出现问题，可以跳过中间的，直接退回。
问题3：什么叫多层感知机？（待完善）
人工神经网络，输入层、隐藏层、输出层。
模型解读
模型同时具备对文本和图像的处理能力，并且最终输出二者缺一不可。
①对文本
普通编码器
h n = E X b ( x ; θ E x b ) = G R U ( x n , h n − 1 ) h_n=\mathbf{E} _X^b(x;\theta_{\mathbf{E_x^b}})=GRU(x_n,h_{n-1}) hn=EXb(x;θExb)=GRU(xn,hn−1)
其中， θ E x b \theta_{\mathbf{E}_x^b} θExb为这个模块网络的参数 h n h_{n} hn为第n步的隐含状态
内容编码器
[ μ c , log σ c 2 ] = E X c ( h n ; θ E x c ) = M L P c o n t e n t ( h n ) [\mu_c,\log \sigma_c^2]=\mathbf{E}_X^c(h_n;\mathbf\theta_{\mathbf{E}_x^c})=MLP_{content}(h_n) [μc,logσc2]=EXc(hn;θExc)=MLPcontent(hn)
风格编码器
[ μ s , log σ s 2 ] = E X s ( h n ; θ E x s ) = M L P s t y l e ( h n ) [\mu_s,\log \sigma_s^2]=\mathbf{E}_X^s(h_n;\mathbf\theta_{\mathbf{E}_x^s})=MLP_{style}(h_n) [μs,logσs2]=EXs(hn;θExs)=MLPstyle(hn)
其中 μ \mu μ和 σ \sigma σ分别为期望和方差
抽取
分别从内容编码器和风格编码器的输出中抽取变量
内容 x c x_c xc
x c ∼ N ( μ c , σ c 2 I ) x_c \thicksim \mathcal{N}(\mu_c,\sigma^2_c\mathbf{I}) xc∼N(μc,σc2I)
风格 x s x_s xs
x s ∼ N ( μ s , σ s 2 I ) x_s \thicksim \mathcal{N}(\mu_s,\sigma^2_s\mathbf{I}) xs∼N(μs,σs2I)
解码层
由GRU网络构成
x ^ = D x ( x z ; θ D x ) \hat{x}=\mathbf{D}_x(x_z;\theta_{\mathbf{D}_x}) x^=Dx(xz;θDx)
输入 x z x_z xz，由 x c x_c xc和 x s x_s xs构成
输出 x ^ \hat{x} x^是解码后的句子，理想情况下等于原来的句子x
损失函数
L x ( θ E x b , θ E x c , θ E x s , θ D x ) = − E q E ( x c ∣ x ) [ log p ( x ∣ x z ) ] − E q E ( x s ∣ x ) [ log p ( x ∣ x z ) ] + λ k l K L ( Q E ( x c ∣ x ) ∣ ∣ p ( x c ) ) + λ k l K L ( Q E ( x s ∣ x ) ∣ ∣ p ( x s ) ) \mathcal{L}_x(\mathbf{\theta_{\mathbf{E}_x^b}},\mathbf{\theta_{\mathbf{E}_x^c}},\mathbf{\theta_{\mathbf{E}_x^s}},\mathbf{\theta_{\mathbf{D}_x}})= -\mathbb{E}_{qE(x_c|x)}[\log{p(x|x_z)}] \\ -\mathbb{E}_{qE(x_s|x)}[\log{p(x|x_z)}] \\ + \lambda_{kl}KL_{(QE(x_c|x)||p(x_c))} \\ + \lambda_{kl}KL_{(QE(x_s|x)||p(x_s))} Lx(θExb,θExc,θExs,θDx)=−EqE(xc∣x)[logp(x∣xz)]−EqE(xs∣x)[logp(x∣xz)]+λklKL(QE(xc∣x)∣∣p(xc))+λklKL(QE(xs∣x)∣∣p(xs))
λ k l \lambda_{kl} λkl是平衡系数, p ( x c ) p(x_c) p(xc)和 p ( x s ) p(x_s) p(xs)为先验概率，服从正常的 N ( 0 , I ) \mathcal{N}(0,I) N(0,I),qE(x_c|x)和qE(x_s|x)分别服从 N ( μ c , σ c 2 I ) \mathcal{N}(\mu_c,\sigma_c^2I) N(μc,σc2I) 和 N ( μ s , σ s 2 I ) \mathcal{N}(\mu_s,\sigma_s^2I) N(μs,σs2I)
设计辅助分类器
为了能有保证有效的编码。
设计两个辅助分类器
（就是识别是不是真假谣言）第一个文本风格预测器 P x s \mathbf{P}_x^s Pxs，输入为分布的风格 μ s \mu_s μs的平均值，确保和分布的不一样（区别性）。输出：真或假
第二个是对抗性文本风格鉴别器 P x c \mathbf{P}_x^c Pxc，输入为分本的内容 μ c \mu_c μc的平均值，没有风格特征。输出：真或假
文本风格预测器
建立在文本风格编码器 E x s \mathbf{E}_x^s Exs上
y x s = P x s ( μ s ; θ P x s ) y_x^s=\mathbf{P}_x^s(\mu_s;\theta_{\mathbf{P}_x^s}) yxs=Pxs(μs;θPxs)
损失函数
L x s ( θ E x s , θ P x s ) = − E ( p , y ) ∼ D s [ y log y x s + ( 1 − y log ( 1 − y x s ) ) ] \mathcal{L}_{x_s}(\mathbf{\theta}_{\mathbf{E}_x^s},\mathbf{\theta}_{\mathbf{P}_x^s}) =-\mathbb{E}_{(p,y)\sim \mathcal{D}^s}[\mathbf{y}\log{y_x^s} +(1-\mathbf{y}\log(1-y_x^s))] Lxs(θExs,θPxs)=−E(p,y)∼Ds[ylogyxs+(1−ylog(1−yxs))]
文本风格鉴别器
y x c = P x c ( μ c ; θ P x c ) y_x^c=\mathbf{P}_x^c(\mu_c;\theta_{\mathbf{P}_x^c}) yxc=Pxc(μc;θPxc)
损失函数
L x c ( θ E x c , θ P x c ) = − E y = 1 [ log y x c ] − E y = 0 log ( 1 − y x c ) \mathcal{L}_{x_c}(\theta_{\mathbf{E}_x^c},\theta_{\mathbf{P}_x^c})=- \mathbb{E}_{y=1}[\log{y_x^c}] -\mathbb{E}_{y=0}\log{(1-y_x^c)} Lxc(θExc,θPxc)=−Ey=1[logyxc]−Ey=0log(1−yxc)
对抗训练参数调整
θ E x c ∗ , θ P x c = arg min max L x c ( θ E x c , θ P x c ) \theta_{E_x^c}^*,\theta_{P_x^c}=\arg{\min{\max{\mathcal{L}_{x_c}(\theta_{E_x^c},\theta_{P_x^c})}}} θExc∗,θPxc=argminmaxLxc(θExc,θPxc)
②对图像
内容编码器
v c = E v c ( v ; θ E v c ) v_c=\mathbf{E}_v^c(v;\mathbf{\theta}_{\mathbf{E}_v^c}) vc=Evc(v;θEvc)
风格编码器
v s = E v s ( v ; θ E v s ) v_s=\mathbf{E}_v^s(v;\theta_{\mathbf{E}_v^s}) vs=Evs(v;θEvs)
解码层
重建的图片
v ^ = D v ( v c , v s ; θ D v ) \hat{v}=\mathbf{D}_v(v_c,v_s;\mathbf{\theta}_{\mathbf{D}_v}) v^=Dv(vc,vs;θDv)
损失函数
L v ( θ E v c , θ E v s , θ D v ) = E [ ∣ ∣ D v ( E v c ( v ) , E v c ( v ) − v ) ∣ ∣ 1 ] \mathcal{L}_v(\mathbf{\theta}_{\mathbf{E}_v^c},\mathbf{\theta}_{E_v^s},\theta_{D_v})=\mathbb{E}[||D_v(E_v^c(v),E_v^c(v)-v)||_1] Lv(θEvc,θEvs,θDv)=E[∣∣Dv(Evc(v),Evc(v)−v)∣∣1]
设计辅助分类器
为了能有保证有效的编码。
设计两个辅助分类器
（就是识别是不是真假谣言）第一个图片风格预测器 P v s \mathbf{P}_v^s Pvs，输入为分布的风格 μ s \mu_s μs的平均值，确保和分布的不一样（区别性）。输出：真或假
第二个是对抗性图片风格鉴别器 P v c \mathbf{P}_v^c Pvc，输入为分本的内容 μ c \mu_c μc的平均值，没有风格特征。输出：真或假
图片风格预测器
y v s = P v s ( v s ; θ P v s ) y_v^s=P_v^s(v_s;\theta_{P_v^s}) yvs=Pvs(vs;θPvs)
损失函数
L v s ( θ E v s , θ P v s ) = − E y = 1 [ log y v c ] − E y = 0 log ( 1 − y v c ) \mathcal{L}_{v_s}(\theta_{E_v^s},\theta_{P_v^s})=-\mathbb{E}_{y=1}[\log{y_v^c}]-\mathbb{E}_{y=0}\log{(1-y_v^c)} Lvs(θEvs,θPvs)=−Ey=1[logyvc]−Ey=0log(1−yvc)
对抗训练参数调整
θ E v c ∗ , θ P v c ∗ = arg min max L v c ( θ E v c , θ P v c ) \theta_{E_v^c}^*,\theta_{P_v^c}^*=\arg{\min{\max{\mathcal{L}_{v_c}(\theta_{E_v^c},\theta_{P_v^c})}}} θEvc∗,θPvc∗=argminmaxLvc(θEvc,θPvc)
③模态融合
结合文本风格预测器 P x s P_x^s Pxs和图片风格预测器 P v s P_v^s Pvs，为最终标签预测器 P z s ( . , θ P z s ) P_z^s(.,\theta_{P_z^s}) Pzs(.,θPzs)，用于判断是否是谣言
y z s = P z s ( z ; θ P z s ) y_z^s=P_z^s(z;\theta_{P_z^s}) yzs=Pzs(z;θPzs)
z来自于文本风格特征 μ s \mu_s μs和图片特征 v s v_s vs
损失函数
L z ( θ E x b , θ E x s , θ E v s , θ P d s ) = − E ( p , y ) ∼ D s [ y log y z s + ( 1 − y ) log ( 1 − y z s ) ] \mathcal{L}_z(\theta_{{E}x^b},\theta_{E_x^s},\theta_{E_v^s},\theta_{P_d^s}) \\ =-\mathbb{E}_{(p,y)}\sim\mathcal{D}^s[y\log{y_z^s}+(1-y)\log(1-y_z^s)] Lz(θExb,θExs,θEvs,θPds)=−E(p,y)∼Ds[ylogyzs+(1−y)log(1−yzs)]
原文大抵是错了字母写错了不应该是d而是z
L z ( θ E x b , θ E x s , θ E v s , θ P z s ) = − E ( p , y ) ∼ D s [ y log y z s + ( 1 − y ) log ( 1 − y z s ) ] \mathcal{L}_z(\theta_{{E}x^b},\theta_{E_x^s},\theta_{E_v^s},\theta_{P_z^s}) \\ =-\mathbb{E}_{(p,y)}\sim\mathcal{D}^s[y\log{y_z^s}+(1-y)\log(1-y_z^s)] Lz(θExb,θExs,θEvs,θPzs)=−E(p,y)∼Ds[ylogyzs+(1−y)log(1−yzs)]
域鉴别
提出域鉴别器 P z d P_z^d Pzd，输入为多模态信息z，判断来自 D S \mathcal{D}^S DS还是 D T \mathcal{D}^T DT
d z = P z d ( z ; θ P z d ) d_z=P^d_z(z;\theta_{P_z^d}) dz=Pzd(z;θPzd)
损失函数
L d ( θ E x b , θ E x s , θ E v s , θ P z d ) = − E p ∼ D S [ log d z ] − E p ∼ D T [ log 1 − d z ] \mathcal{L}_d(\theta_{E_x^b},\theta_{E_x^s},\theta_{E_v^s},\theta_{P_z^d})=-\mathbb{E}_{p\sim\mathcal{D}^S}[\log{d_z}] \\ -\mathbb{E}_{p\sim\mathcal{D}^T}[\log{1-d_z}] Ld(θExb,θExs,θEvs,θPzd)=−Ep∼DS[logdz]−Ep∼DT[log1−dz]
最小损失的参数
θ P z d ∗ = arg min L d ( θ E x b , θ E x s , θ E v s , θ P z d ) \theta_{P_z^d}^*=\arg{\min{\mathcal{L}_d(\theta_{E_x^b},\theta_{E_x^s},\theta_{E_v^s},\theta_{P_z^d})}} θPzd∗=argminLd(θExb,θExs,θEvs,θPzd)
论文读后的疑惑
①为什么要分别给文本和图片弄预测器和鉴别器？
预测器，能推出结果
鉴别器，通过对抗性训练，去除文本内容中的风格信息，只保留文本内容
②怎么多损失函数，模型到底怎么训练的？
要想明白这个问题，要从代码实现来看
这里我们可以明白用到了那些损失函数，进而对那些网络中的参数进行了优化
旧帖子训练
- a 就是要实现预测文本句子的路径
- b 就是预测图片的路径
- c 是两种模态合到一块对谣言的判定预言的路径，由文本的预测器和图片的预测器的损失函数合并而来，而下面的没有合并
- d 第一个是文本的鉴别器，第二个是图片的鉴别器，他们的作用是用于对抗训练，所以是对抗训练的损失
- e 计算总损失
新帖子训练
a和b
域适应
对抗训练，为其新帖子判定做准备，输入是风格
③在解纠缠的阶段中，为什么鉴别器对抗？
我觉得是因为在内容和风格的分离中，可能分离的不够彻底，内容中还保留风格信息，不够纯粹，所以需要鉴别风格信息存不存在。
论文阅读【Multimodal Disentangled Domain Adaption for Social Media Event Rumor Detection】相关推荐
- 谣言检测文献阅读六—Tracing Fake-News Footprints: Characterizing Social Media Messages by How They Propagate
系列文章目录 谣言检测文献阅读一-A Review on Rumour Prediction and Veracity Assessment in Online Social Network 谣言检测 ...
- 流利阅读 2019.3.5 Your friends’ social media posts are making you spend more money, researchers say
下载 笔记版/无笔记版 pdf资料: GitHub - zhbink/LiuLiYueDu: 流利阅读pdf汇总 本文内容全部来源于流利阅读.流利阅读对每期内容均有很好的文章讲解,向您推荐. 您可以关 ...
- 论文阅读：Saliency-Guided Region Proposal Network for CNN Based Object Detection
论文阅读:Saliency-Guided Region Proposal Network for CNN Based Object Detection (1)Author (2)Abstract (3 ...
- 论文阅读：DuEE:A Large-Scale Dataset for Chinese Event Extraction in Real-World Scenarios（附数据集地址）
论文阅读:DuEE:A Large-Scale Dataset for Chinese Event Extraction in Real-World Scenarios 基于现实场景的大规模中文事件抽 ...
- 【论文阅读】Systematic Comparison of Respiratory Signals for the Automated Detection of Sleep Apnea
论文阅读:Systematic Comparison of Respiratory Signals for the Automated Detection of Sleep Apnea 一.摘要 对这 ...
- 【ICML 2015迁移学习论文阅读】Unsupervised Domain Adaptation by Backpropagation (DANN) 无监督领域自适应
会议:ICML 2015 论文题目:Unsupervised Domain Adaptation by Backpropagation 论文地址:http://proceedings.mlr.pres ...
- 【论文阅读】Embracing Domain Differences in Fake News: Cross-domain Fake News Detection using 多模态数据
本博客系博主根据个人理解所写,非逐字逐句翻译,预知详情,请参阅论文原文. 论文标题:Embracing Domain Differences in Fake News: Cross-domain Fa ...
- 【ICML 2015迁移学习论文阅读】Unsupervised Domain Adaptation by Backpropagation (DANN) 反向传播的无监督领域自适应
会议:ICML 2015 论文题目:Unsupervised Domain Adaptation by Backpropagation 论文地址: http://proceedings.mlr.pre ...
- 【领域泛化论文阅读】Semantic-Aware Domain Generalized Segmentation
关于图像白化和色彩变换的基本内容可以参考: 图像标准化.图像白化.色彩变换_S L N的博客-CSDN博客 论文是针对语义分割的领域泛化模型.论文提出了SAN和SAW两个模块来增强类别之间的分离,类内 ...
最新文章
- View 5.1 重装上阵（4—基础架构篇）
- mysql search yum_centos7通过yum安装mysql的方法
- 关于IP、子网掩码、网关、和DNS相关理解
- 计算机联锁与全电子执行单元,计算机联锁全电子执行单元.doc
- Nun Heh Heh Aaaaaaaaaaa 字符串，dp
- 基于注解的Spring MVC整合Hibernate（所需jar包，spring和Hibernate整合配置，springMVC配置，重定向，批量删除）
- 《C陷阱与缺陷》和《C专家编程》两本书又翻印了
- Linux下c/c++项目代码覆盖率的产生方法
- 力拼5G，台湾拟释放出更多频谱
- 32岁男子沉迷网游十年离世 临终称真有意思
- 2.1. sql增删查改
- matlab雷达噪声模型,雷达信号处理MATLAB仿真.doc
- 计算机辅助档案管理文字说明,计算机辅助档案管理
- 完整数学小论文（中文版）LaTeX模板
- 向日葵的约定（歌词中日对译）
- OpenJudge百炼习题解答（C++)--题4040：买书问题
- mac php fpm 启动,mac 启动php-fpm
- 启动数据库MySQL
- dw php用文本框更新记录,用dreamweaver htm的网页 一个输入框 一个按钮 点按钮将输入框中的内容保存到本地 肿么写...
- 转：量化交易零基础入门教程之——python基本语法与变量