论文笔记《BERT》

论文题目：BERT-Bidirectional Encoder Representations from Transformers

Masked Language Model(MLM)

随机掩码语言模型：

给定一个输入序列：[CLS] The dog jumped over the log. [SEP]
随机mask15%的token：[CLS] The dog jumped [MASK] the log. [SEP]
预测原本单词的值：Prediction='over'

BERT模型的输入：

随机mask15%的token，以一个特殊的token:[MASK]代替
Token Embedding + Segmentation Embedding + Position Embedding
输入形式：[CLS] sentence1 [SEP] sentence2 [SEP]

特点：

类似于降噪自动编码机（Denoising Auto-Encoder, DAE），而BERT仅仅通过corrupted input sentence预测被mask的位置的词，而不需要还原整个句子。
做到了双向语言模型（Bidirectional Language Model），在预测中心词的过程中通过模型对整个文章的编码可以得到上下文的信息，去预测中心词出现的概率。

优化的目标函数：

$max_{\theta} logp_{\theta}(\bar{x}|\hat{x})\approx \sum_{t=1}^{T}m_{t}logp_{\theta}(x_{t}|\hat{x})$

其中， $\bar{x}$ 表示重建后的句子， $\hat{x}$ 表示随机mask后的句子，如果第t个token被mask，则 $m_{t}=1$ 。

与GPT2的比较

BERT与GPT2沿用了相同的架构，都是多层Transformer。

区别：

BERT：Masked LM，可以捕捉到整个上下文的信息
GPT2：Left2Right LM，通过对于Attention mask的限定，可以让第t个位置的词仅仅看到前t-1位置的词，这样的训练方式导致GPT2模型只能建模前向的概率分布

论文笔记《BERT》相关推荐

论文笔记之Understanding and Diagnosing Visual Tracking Systems
Understanding and Diagnosing Visual Tracking Systems 论文链接:http://dwz.cn/6qPeIb 本文的主要思想是为了剖析出一个跟踪算法中到 ...
《Understanding and Diagnosing Visual Tracking Systems》论文笔记
本人为目标追踪初入小白,在博客下第一次记录一下自己的论文笔记,如有差错,恳请批评指正!! 论文相关信息:<Understanding and Diagnosing Visual Tracking ...
论文笔记Understanding and Diagnosing Visual Tracking Systems
最近在看目标跟踪方面的论文,看到王乃岩博士发的一篇分析跟踪系统的文章,将目标跟踪系统拆分为多个独立的部分进行分析,比较各个部分的效果.本文主要对该论文的重点的一个大致翻译,刚入门,水平有限,如有理解错 ...
目标跟踪笔记Understanding and Diagnosing Visual Tracking Systems
Understanding and Diagnosing Visual Tracking Systems 原文链接:https://blog.csdn.net/u010515206/article/d ...
追踪系统分模块解析（Understanding and Diagnosing Visual Tracking Systems）
追踪系统分模块解析(Understanding and Diagnosing Visual Tracking Systems) PROJECT http://winsty.net/tracker_di ...
ICCV 2015 《Understanding and Diagnosing Visual Tracking Systems》论文笔记
目录写在前面文章大意一些benchmark 实验实验设置基本模型数据集实验1 Featrue Extractor 实验2 Observation Model 实验3 Motion Mod ...
Understanding and Diagnosing Visual Tracking Systems
文章把一个跟踪器分为几个模块,分别为motion model, feature extractor, observation model, model updater, and ensemble po ...
CVPR 2017 SANet:《SANet: Structure-Aware Network for Visual Tracking》论文笔记
理解出错之处望不吝指正. 本文模型叫做SANet.作者在论文中提到,CNN模型主要适用于类间判别,对于相似物体的判别能力不强.作者提出使用RNN对目标物体的self-structure进行建模,用于提 ...
ICCV 2017 UCT:《UCT: Learning Unified Convolutional Networks forReal-time Visual Tracking》论文笔记
理解出错之处望不吝指正. 本文模型叫做UCT.就像论文题目一样,作者提出了一个基于卷积神经网络的end2end的tracking模型.模型的整体结构如下图所示(图中实线代表online trackin ...
CVPR 2018 STRCF:《Learning Spatial-Temporal Regularized Correlation Filters for Visual Tracking》论文笔记
理解出错之处望不吝指正. 本文提出的模型叫做STRCF. 在DCF中存在边界效应,SRDCF在DCF的基础上中通过加入spatial惩罚项解决了边界效应,但是SRDCF在tracking的过程中要使用 ...

论文笔记《BERT》

Masked Language Model(MLM)

与GPT2的比较

论文笔记《BERT》相关推荐

最新文章

热门文章