点击下面卡片，关注我呀，每天给你送来AI技术干货！

来自：知乎

作者：三七

地址：https://www.zhihu.com/question/358892919/answer/1800698684

编辑：机器学习算法与自然语言处理

仅作学术分享，侵权

不是必备。深度学习中一切玄学问题都能从数学和数据中得到解释。个人水平有限，确实未能给出满意的数学证明，感谢大佬们指正。

• Q1: 为什么LSTM加上CRF后，序列标注效果会有稳定提升？

• Q2: BERT后面到底要不要接上CRF？甚至要不要接上BiLSTM?

• Q3: BERT+CRF的搭配中，有必要单独给CRF设置一个较大的学习率吗？

Q1: 为什么LSTM加上CRF后，序列标注效果会有稳定提升？

序列标注中CRF存在的意义究竟是什么？其实从模型的损失函数可以很直接的看出添加CRF前后的差异。

单纯使用神经网络做序列标注时，使用的损失函数通常为对每一个时间步的交叉熵损失取平均， 此时模型对应的学习目标为

而加入CRF后，模型的学习目标变成了

其中， 和 分别为训练集的输入文本序列和标签序列， 表示LSTM的模型结构和参数，也就是模型拟合能力的体现。 是从训练集所有标签序列统计得到的转移概率（尽管是训练过程中通过梯度下降学习到的转移矩阵，但这个矩阵本质上就是训练集的标签转移概率乘以一个特征权重，具体原理参考log linear model）。从上面两个公式，我们就能轻易的理解，为什么LSTM后面加上CRF，模型效果就能好很多。

Q2: 如果把LSTM换成BERT呢？BERT后面到底要不要接上CRF？甚至要不要接上BiLSTM?

先说答案：1). BERT后面要不要加CRF，完全取决于数据集。2) CRF大概率能带来提升，但也完全有可能带来负面影响。3) BERT后面不要加LSTM！CRF能提供额外的标签转移特征，而LSTM除了拖后腿什么也干不了。

为什么把Q1两个公式中的 换成 之后，效果就能大大提升？一方面是BERT的预训练学习到了大量的文本表示，加上BERT自身优异的模型结构，使得在NER的数据集上能有非常好的泛化性。在这样的条件下，标签转移概率这个特征，比起输入文本中的语义特征就很微不足道了，即使不用标签之间的转移概率也能轻易的识别出正确的实体。毕竟BERT在特定任务下的语义理解能力已经十分接近人类水平了。

那么什么样的数据适合加CRF，什么样的不适合呢？先明确一点，由于CRF多了一个特征，而且两个特征会通过梯度下降自动学习各自权重，因此加上CRF一定能实现对训练集更好的拟合。但训练集拟合得好未必测试集有提升，有可能是过拟合。这取决于输入文本的语义特征、训练集标签序列分布、测试集标签序列分布，这就只能通过实验来确定了。训练集和测试集的标签序列分布一致性越高，那么CRF的帮助就越大。反之也完全有可能造成负面影响。

在我和同学实验中也多次遇到BERT加上CRF后效果变差的经历。

Q3: BERT+CRF的搭配中，有必要单独给CRF转移矩阵参数设置一个较大的学习率吗？

这仍然是一个关于数据特征分布的问题。由于几乎不存在完美标注的数据集，因此几乎所有数据集都多多少少会有噪声或偏差。就看输入 带来的影响和 带来的影响谁打得过谁了。如果自然状态下训练得到的模型中CRF的参数很小或者不理想，只能说明标签转移特征对训练集的拟合本身就没有什么帮助。

给CRF转移矩阵设置单独的学习率，本质上就是手动调节这两个特征的权重，限制模型的学习能力，是一种正则化手段。一般来说，由于 的数据远比 简单，噪声出现的概率也会更小，训练集和测试集分布的一致性会更高，所以使用CRF并设置一个较大的学习率也大概率会有用，但这毕竟是一个无法量化的超参数，不同数据集上不具有普适性。

说个正事哈

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

点击上面卡片，关注我呀，每天推送AI技术干货~

整理不易，还望给个在看！