欢迎来到《每周NLP论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

语义匹配也是NLP中比较基础的任务，它的主要目标是计算两个querry、两个文本之间的关系，包括相似度、问答关系等。在搜索引擎、智能问答、知识检索、信息流推荐等系统中都有应用。

作者&编辑 | 小Dream哥

1 最早的深度语义匹配模型-DSSM

Deep Structured Semantic Models(DSMM)的原理很简单，通过搜索引擎里 Query 和 Title 的海量的点击曝光日志，用 DNN 把 Query 和 Title 表达为低维语义向量，并通过 cosine 距离来计算两个语义向量的距离，最终训练出语义相似度模型。该模型既可以用来预测两个句子的语义相似度，又可以获得某句子的低维语义向量表达。

DSSM采用词袋模型(BOW)，因此丧失了语序信息和上下文信息。另一方面，DSSM 采用弱监督、端到端的模型，预测结果不可控。

文章引用量：300+

推荐指数：✦✦✦✦✧

[1] Huang P S , He X , Gao J , et al. Learning deep structured semantic models for web search using clickthrough data[C]// Proceedings of the 22nd ACM international conference on Conference on information & knowledge management. ACM, 2013.

2 卷积用在语义匹配上-CLSM

针对DSSM词袋模型丢失上下文信息的缺点，CLSM(convolutional latent semantic model)应运而生，又叫 CNN-DSSM。CNN-DSSM 与 DSSM 的区别主要在于输入层和表示层。

文章引用量：140+

推荐指数：✦✦✦✦✧

[2] Shen Y , He X , Gao J , et al. [ACM Press the 23rd ACM International Conference - Shanghai, China (2014.11.03-2014.11.07)] Proceedings of the 23rd ACM International Conference on Conference on Information and Knowledge Management - CIKM \"14 - A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval[J]. 2014:101-110.

3 LSTM用在语义匹配上

针对 CNN-DSSM无法捕获较远距离上下文特征的缺点，有人提出了用LSTM-DSSM来解决该问题。

文章引用量：较少

推荐指数：✦✦✦✦✦

[3] Palangi H , Deng L , Shen Y , et al. Semantic Modelling with Long-Short-Term Memory for Information Retrieval[J]. Computer Science, 2014.

4 MV-DSSM

MV learning是指从不共享特征空间的多个domain中学习模型。MVDNN可以通过渗透多domain的数据来学习到更好的用户表征。

基于Multi-View的DSSM参数变多了，由于多视角的训练，输入的语料也可以变得不同，自由度也更大了，但是随之带来的问题就是训练会变得越来越困难。

文章引用量：较少

推荐指数：✦✦✦✧✧

[4] Elkahky A M , Song Y , He X . A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems[C]// the 24th International Conference. International World Wide Web Conferences Steering Committee, 2015.

5 基于字符特征的语义匹配 

研究了基于字符和字符特征与基于词向量进行语义匹配任务的差异，观点挺新颖，可以一看。

文章引用量：较少

推荐指数：✦✦✦✦✧

[5] Wuwei Lan, Wei Xu. Character-based Neural Networks for Sentence Pair Modeling. arXiv preprint arXiv:1805.08297v1, 2018.

6 基于BERT的语义相似度计算与匹配

基于BERT及其他预训练模型进行语义相似度计算是一种趋势，这篇文章只是做了一个简要的介绍，实在找不到更好的文章了。有的同学请推荐呀。

文章引用量：较少

推荐指数：✦✦✦✧✧

[6] Manish Patel. TinySearch- Semantics based Search Engine using Bert Embeddings. 2019.

7 ResNet宽度问题 

一篇综述性的文章，介绍了多种用于语义计算的深度学习模型，并进行了比较，值得一读。

文章引用量：较少

推荐指数：✦✦✦✦✦

[7] Zagoruyko S, Komodakis N. Neural Network Models for Paraphrase Identifification, Semantic Textual Similarity, Natural Language Inference, and Question Answering. arXiv:1806.04330v2, 2019.

8 非常好的工具MatchZOO

语义匹配非常好的开源工具，这篇文章介绍了如何利用这个工具进行训练，快速获得一个效果较好的模型。

文章引用量：较少

推荐指数：✦✦✦✦✦

[8] Jiafeng Guo, Yixing Fan, Xiang Ji, et al. MatchZoo: A Learning, Practicing, and Developing System for Neural Text Matching. arXiv:1905.10289v2.

9 如何获取文章与交流

找到有三AI开源项目即可获取。

https://github.com/longpeng2008/yousan.ai

文章细节众多，阅读交流在有三AI-NLP知识星球中进行，感兴趣可以加入。

总结

以上就是NLP中语义匹配任务一些比较代表性的文章，下一期我们将介绍一些对话系统的文章。

有三AI夏季划

有三AI夏季划进行中，欢迎了解并加入，系统性成长为中级CV算法工程师。

转载文章请后台联系

侵权必究

往期精选

• 【NLP】自然语言处理专栏上线，带你一步一步走进“人工智能技术皇冠上的明珠”。

• 【NLP】用于语音识别、分词的隐马尔科夫模型HMM

• 【NLP】用于序列标注问题的条件随机场（Conditional Random Field, CRF）

• 【NLP】经典分类模型朴素贝叶斯解读

• 【NLP】 NLP专栏栏主自述，说不出口的话就交给AI说吧

• 【NLP】 深度学习NLP开篇-循环神经网络(RNN)

• 【NLP】 NLP中应用最广泛的特征抽取模型-LSTM

• 【NLP】 聊聊NLP中的attention机制

• 【NLP】 理解NLP中网红特征抽取器Tranformer

• 【每周NLP论文推荐】从预训练模型掌握NLP的基本发展脉络

• 【技术综述】深度学习在自然语言处理中的应用