自注意机制中添加局部信息

文章参考: Modeling Localness for Self-Attention Networks

分散注意力机制的思路是先验的让一些特征仅仅依赖于邻近的信息. 本文的思路是考虑全局信息的同时也添加局部信息.
具体地,
A^eG\hat{A} e^{G} A^eG
A^\hat{A}A^ 是权重矩阵, 即 softmax(QKT/d)\text{softmax}(QK^T/\sqrt{d})softmax(QKT/d). Gn×nG_{n \times n}Gn×n, n 是文字长度(含词汇的数目), 称作 Gauss 偏向.
Gi,j=−(j−Pi)22σi2.G_{i,j}=-\frac{(j-P_i)^2}{2\sigma_i^2}.Gi,j=−2σi2(j−Pi)2.
含义是衡量中心词汇和距离为 j 的词汇的关联程度. 可以看出距离越远, 关联越低.

这里需要确定的是 PiP_iPi 和 σi\sigma_iσi. 由经验σi:=Di2\sigma_i:=\frac{D_i}{2}σi:=2Di. DiD_iDi 是局部视野, 或者说窗口. 如果看图像, f(j):=eGi,jf(j):=e^{G_{i,j}}f(j):=eGi,j 会发现, jjj 增大到一定程度, f(j)f(j)f(j) 的梯度几乎为0.

如是问题变为确定中心 PiP_iPi 和视野 DiD_iDi.

(PiDi)=I⋅sigmoid((pizi)).\left( \begin{array}{c} P_{i} \\ D_{i} \end{array} \right) =\text{I} \cdot \text{sigmoid}( \left( \begin{array}{c} p_{i} \\ z_{i} \end{array} \right)).(PiDi)=I⋅sigmoid((pizi)).
中心 pip_ipi 仅仅和相应的 query 向量有关. 设为
pi:=UpTtanh(WpQi).p_i:=U_p^T\text{tanh}(W_pQ_i). pi:=UpTtanh(WpQi).
Up∈RdU_p \in \R^dUp∈Rd, WpW_pWp 为 d×dd \times dd×d 矩阵, 都是待定参量.

对于 ziz_izi, 思路比较多. 有取固定值的.

依赖于 key 的均值.
z:=UdTtanh(WdKˉ).z:=U_d^T\text{tanh}(W_d\bar{K}). z:=UdTtanh(WdKˉ).

依赖于 query.
z:=UdTtanh(WpQi).z:=U_d^T\text{tanh}(W_pQ_i). z:=UdTtanh(WpQi).

容易将之推广到多头注意力.

自注意机制中添加局部信息相关推荐

R语言ggplot2可视化在图像中添加脚注信息（footnote）实战：自定义脚注信息的位置、对齐形式、图的脚注、整个网格的脚注
R语言ggplot2可视化在图像中添加脚注信息(footnote caption)实战:自定义脚注信息的位置.对齐形式.图的脚注.整个网格的脚注目录
Android开发过程中在sh，py，mk文件中添加log信息的方法
Android开发过程中在sh,py,mk文件中添加log信息的方法在sh文件中: echo "this is a log info" + $info 在py文件中: print ...
ArcIMS 投影问题如何向地图配置文件中添加投影信息(转载)
ArcIMS 投影问题如何向地图配置文件中添加投影信息编号: 000181 相关产品及版本: ArcIMS 3.1, 4.0,9.0 平台: N/A 提交时间: 2004-12-15 修改时 ...
在web.config中添加配置信息
1 在web.config中添加配置信息<configuration><connectionStrings><add name="conStr" co ...
mysql 字段增加备注_怎么在mysql数据库中添加备注信息
怎么在mysql数据库中添加备注信息发布时间:2021-02-20 16:04:19 来源:亿速云阅读:56 作者:Leah 这期内容当中小编将会给大家带来有关怎么在mysql数据库中添加备注信息 ...
android向apk的META-INF(签名信息)中添加渠道信息
作者:燕歆波导读:在没有源码的情况下,为了避免重新签名,直接在签名信息中添加渠道信息; 准备好两个文件:一个空文件"channel_fhxs"没有后缀名,还有一个.prepert ...
Python之向日志输出中添加上下文信息
除了传递给日志记录函数的参数(如msg)外,有时候我们还想在日志输出中包含一些额外的上下文信息.比如,在一个网络应用中,可能希望在日志中记录客户端的特定信息,如:远程客户端的IP地址和用户名.这里我们 ...
谷歌浏览器在怎么添加迅雷_如何在Google搜索结果中添加作者信息
谷歌浏览器在怎么添加迅雷 How to enable the author information in Google search results as shown for many posts? ...
设计变更时，如何直接在工程图中添加修订信息？
通常制造型企业在进行产品设计变更时,都是通过手动在工程图中添加修订表变更信息来进行流程跟踪的.而SOLIDWORKS PDM与SOLIDWORKS修订表已经实现了双向集成功能:这也就意味着,利用PDM ...

自注意机制中添加局部信息

自注意机制中添加局部信息相关推荐

最新文章

热门文章