点击下面卡片，关注我呀，每天给你送来AI技术干货！

来自：NLP情报局

????背景

上周末和女朋友去风云再起夹娃娃，原本不会玩的我们在好哥们的指点下竟然夹到了一堆。其中一只娃娃是语言模型BERT的好兄弟，来自芝麻街的“甜饼怪”。于是饭后回到家，我们有了下面的对话。

????什么是语言模型？

我：亲爱的，今天你夹到了一只甜饼怪耶，还记得我之前和你说过的BERT吗？他们是好兄弟哦，而且甜饼怪也是语言模型Grover的代表。

女友：有点印象，是不是那个小黄人！你们NLPer说的BERT到底是啥呀？

我：BERT是Google发布的一款预训练语言模型，中文全称叫“基于变换器的双向编码器....”

女友：可不可以“说人话” - -！

我：哦，对不起！BERT属于预训练语言模型的一种，那我先从语言模型开始介绍吧，保证用通俗易懂的语言。

女友：这还差不多。

我：先举一个最简单的例子！

假如我刚和你交往没多久，突然有一天我想对你说三个字，又不好意思直说，于是我把中间的那个字先盖住，你看到的变成了：“我[mask]你”。

虽然你心中大概率觉得就是那三个字，但也许会猜测有没有别的可能？

这时BERT出现了，他和你说：“让我来帮你看看这小子心里在想啥”。

通过统计我和你之前的一些聊天资料，BERT科学分析得出如下结论：中间的字97%的概率是“爱”，2.5%的概率是“想”，0.01%的概率是“恨”。

女友的嘴角微微上扬，“果不出我所料”。

我：当然啦，这只是最简单的demo。再来一个例子，假如夏天我们去爬山避暑，在半山腰发现对面山上有一大片竹林。

才华横溢的女票随口而出一句五言诗：“一望山多竹”，并含情脉脉地看向了我。

鄙人虽然才疏学浅，好在我的专业是自然语言处理，又有BERT这一法宝。我悄悄地把这5个字告诉了他，部署在远程GPU上的BERT瞬间发回5个字：

“能生夏日寒”。

女友：哎呀，对的不错呀。BERT咋这么聪明？

我：不仅如此，BERT还可以根据你指定的主题作出完整的古诗或对联呢！甚至还能编排小说和电影剧情。

当然了，主旨概括、文字翻译、新闻归类这些工作对他而言更不在话下。和文字相关的活，BERT几乎都能干。

女友：天呐，这么厉害。

我：现在我来完整解释一下。

所谓语言模型，就是通过观察人类的表达习惯，计算机模型自动统计归纳出一些客观的文字规律。经过总结这些规律，模型一定程度上可以理解人类的语言。

一个优秀的语言模型，无法让你分辨出它到底是人还是机器。

女友：还是没有很懂，是怎样的规律呢？

我：假如我们现在从网络上收集到了100W个句子，其中有一个句子是：“今晚我想吃香芋西米露”。

语言模型的学习任务就是统计语言序列 “今 / 晚 / 我 / 想 / 吃 / 香 / 芋 / 西 / 米 / 露”的概率，即：

今晚我想吃香芋西米露

简单的说，语言模型的目的是判断一个句子是否正常，是不是是人话。例如：

P(今 / 晚 / 我 / 想 / 吃 / 香 / 芋 / 西 / 米 / 露) > P(香 / 芋 / 西 / 米 / 露 / 今 / 晚 / 想 / 吃 / 我)

语言模型认为，后面一句话不是正常的人话，几乎不会在我们的生活中出现。依此类推，模型会对100W个句子分别计算出现的概率。

女友：哦，好像有点明白了～

我：嗯嗯，这就是最早期的基于统计的语言模型。当然啦，上面的序列计算量有些大，实际中我们往往会对句子先分词，把“今晚我想吃香芋西米露”切分成“今晚 / 我 / 想 / 吃 / 香芋 / 西米露”。

女友：这不就是我们小学学习的组词嘛。

我：对！分词是NLP最基础的概念之一，看来你已经能初步理解啦。

分词的好处是我们可以以词为粒度，统计每个词彼此先后的顺序、分布的规律，显著减少计算量。例如“香芋”后跟“西米露”的概率要远大于“金露”。

女友：明白分词的含义啦。

我：要计算一个句子中所有词出现的概率仍然比较困难，所以实际中我们会继续优化，使用基于n-gram的统计方法，以及随后出现的神经网络语言模型。

这些内容涉及了一些专业知识，下一次我们再来讨论。要是感兴趣，我可以先给你一些资料哦[1]。

女友：好。

????预训练语言模型和语言模型又有什么区别？

女友：为什么你一开始时说BERT是预训练语言模型呢，他和上面的语言模型难道还不一样？

我：本质是一样的，但是实现方法有一些不同。

女友：怎么说？

我：BERT是2018年底开发出来的语言模型，用到了当时NLP最前沿的技术。BERT模型有3个核心特点：

（1）基于self-Attention的Transformer架构；（2）采用的MLM预训练任务符合语言模型本质；（3）训练语料庞大，多达33亿文本，见多识广。

女友：不行，又开始懵了。

我：不急哈，我来一个个说明。

关于注意力机制，你只要先了解这是一种非常高效的神经网络。假如现在有一个很长的句子，从头读到尾，很可能句子一开始说的内容我们已经忘了。

但是Attention没有这个烦恼，在它看来句子中任意两个位置的词都是相邻关系。所以我们说Attention有很强的“记忆能力”！

女友：哦，原来是记性好。那MLM呢？

我：MLM（Mask Language Model）其实很好理解。正常的一句话，针对其中的每个字以15%的概率掩盖，再让BERT预测被盖住的字原本是什么。

以苏东坡的诗“欲把西湖比西子，淡妆浓抹总相宜”为例。

经过随机掩盖，原诗可能变成了“欲把西[mask]比西子，淡[mask]浓抹总相宜”。

BERT的主要训练任务就是将文本经过层层Transformer编码后，根据没有被掩盖的上下文还原[mask]位置的字。

女友：那不会出现有很多种可能的表达吗？

我：中文版BERT的词表一共有20,000多个字符，常见的中文字符只有2000-3000个。假如让模型随机猜，猜中的概率最多只有1/2000。

女友：这也太低了吧～

我：模型不会瞎猜啦！他会根据上下文缩小范围。

通过对海量文本的学习，BERT知道和“西”组成的词只有“西瓜、西湖、西红柿、西溪、西北...”等十几种，再结合上下文语境，能快速锁定第一个[mask]对应的字符是“湖”。

即便有多种可能组合，BERT也只会选择概率最大的字符（“湖”在这个语境中的概率可能大于90%）。

女友：所以BERT最终会输出“欲把西[湖]比西子，淡[妆]浓抹总相宜”？

我：就是这样。假如刚开始训练时BERT预测错了，MLM对应的损失函数（CrossEntropy）就会产生一个比较大的值，对模型进行惩罚；下一次预测对了，损失值就变成0。

BERT会往损失值最小的方向学习，也就越学越聪明啦！

女友：好聪明呀。为什么会选择MLM这样一个训练任务呢？

我：MLM任务的灵感来自于人类做完形填空。挖去文章中的某些片段，需要理解上下文来猜测这些被掩盖位置的内容。这样的任务符合咱们前面介绍过的语言模型的本质。

女友：猴。

我：第3点训练语料庞大更好理解。相比前面提及的100W文本，明显33亿语料包含的信息更丰富，BERT几乎能学到每一个词在各种上下文语境中的用法。

正所谓是大力出奇迹。

女友：一个人读了33亿文本规模的书，估计也是半个国学大师了吧

我：哈哈很有可能。

????语言模型有什么用？

女友：你说了这么多，BERT在实际中有什么用？

我：只要和自然语言相关的场景（其实还包括图片、音频等），几乎都有BERT的用武之地。从最常见的新闻分类、相似句判断到机器阅读理解、问答系统等等。

女友：你刚说问答系统，那是不是可以训练一个BERT和我聊天？

我：可以，闲聊属于问答系统的一个重要分支，有很广泛的应用场景。

女友：我问什么BERT都能回答吗？

我：这需要关注2个问题：训练语料和训练任务。

BERT本质是一个庞大的语言模型，所以给一段文本让他分类，或者判断是真/假新闻，很符合他的预训练目标。但如果想和他聊天，我们需要提供新的目标让BERT学习。

女友：啥目标？

我：比如我们提供上句S1，让BERT预测下句S2；通过这样的训练方式，他就具备了一定的问答能力。

如果你提供给他的是百度百科语料以及相应的“问题-答案“句子对，他就是一个百科问答型BERT，能帮助你解决一些常见的FAQ。

如果提供的是聊天相关的文本，他就是一个闲聊类型的BERT，能帮你解闷甚至讲笑话逗你开心。

女友：这么神奇！

什么地方可以安装BERT啊？

我：BERT模型可以部署到公众号、小程序、手机应用app、网页甚至嵌入到已有的硬件产品中哦，不限载体。

也许未来BERT会在问答机器人、智能家居中大显身手。

????可以自己训练一个BERT吗？

女友：BERT好好玩，我可以自己训练一个吗？

我：可以的，不过需要先学习一些工具哦，比如Python、基础的NLP知识，看一看BERT的论文...

女友：啊，这么麻烦= =！有没有办法快速上手

我：有。我可以用tf/torch帮你搭好训练框架，告诉我你想和他聊天的主题，任务型 or 闲聊 or FAQ问答？

再帮你爬取一些语料，部署成一键训练！点击“开始训练”，过几小时就会有一个专属你的BERT诞生啦！

女友：好，今晚帮我训练一个！

我：这么积极呀，遵命...

女友：下一次我还要去夹娃娃，争取夹回一个“BERT”

????后记

经过这次交流，女朋友对语言模型有了一定的认知，也开始了解我的专业，并喜欢上了BERT。我决定以后要多以这种轻松的方式和她分享我的知识，并让她产生兴趣。她也经常会有一些很新奇的idea，帮助我拓宽思路。

以上内容并没有深入讲解专业知识，感兴趣的读者可以搜索相关资料，或参考下文引用。

参  考  资  料

[1] 深入理解语言模型：https://zhuanlan.zhihu.com/p/52061158

[2] BERT论文：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》

[3] UNILM，BERT做生成式任务：《Unified Language Model Pre-training for Natural Language Understanding and Generation》

说个正事哈

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

点击上面卡片，关注我呀，每天推送AI技术干货~

整理不易，还望给个在看！