python英文语义角色标注_【顶会100秒】基于相似词计算的旅游词汇语义分析

英文论文标题：Semantic Analysis of TourismVocabulary Based on Similar Words Calculation

论文中译标题：基于相似词计算的旅游词汇语义分析

来源：2019 International Conference onComputer Science, Communications and Big Data(CSCBD 2019)

作者：Hui PENG，Hong-yanPAN

编译：郑欣怡，孙静正，刘博艺，数据挖掘组

摘要

旅游数据挖掘是从海量旅游数据中提取数据关系的过程。它可以发现隐藏在数据中的隐含知识和规则。旅游词之间语义关系的发现是旅游数据挖掘的重要内容。介绍了自然语言处理领域中经典的相似词计算模型skip-gram。skip-gram语法中不考虑词性，因此当相似词位于句子中时，模型无法准确识别它们。因此，我们提出了POS-skip-gram模型。利用该模型，结合艺龙和携程的旅游数据，建立了旅游词的语义关系图。这个图可以作为旅游数据挖掘的基础。

核心内容

该研究为了挖掘应用领域中词之间的语义关系用到了相似词的计算，用到的方法是通过计算每个单词与其他单词的共现次数来计算单词之间的相似度。随着统计语料库的丰富，这种方法可以获得越来越好的结果，特别适合于网络词汇的扩展需求和词间统计结果在特定领域的应用。在统计方法的基础上，将词转换成一个向量，然后利用两个向量之间的相似度来判断两个词是否是同义词。

介绍了自然语言处理领域中经典的相似词计算模型skip-gram：

skip-gram是Word2Vec模型的一种。Word2vec是一类神经网络模型，通过学习文本来用词向量的方式表征词的语义信息，即通过一个嵌入空间使得语义上相似的单词在该空间内距离很近。

从直观角度上来理解Word2Vec模型，cat这个单词和kitten属于语义上很相近的词，而dog和kitten则不是那么相近，iphone这个单词和kitten的语义就差的更远了。通过对词汇表中单词进行这种数值表示方式的学习（也就是将单词转换为词向量），能够让我们基于这样的数值进行向量化的操作从而得到一些有趣的结论。比如说，如果我们对词向量kitten、cat以及dog执行这样的操作：kitten - cat + dog，那么最终得到的嵌入向量将与puppy这个词向量十分相近。

Word2Vec模型中，主要有Skip-gram和CBOW两种模型，从直观上理解，Skip-Gram是给定input word来预测上下文。而CBOW是给定上下文，来预测input word。

skip-gram模型是基于当前单词预测单词n的上下文。N是决定上下文窗口大小的常数。该模型分为三层：输入层、投影层和输出层，其中输入层为当前单词，投影层生成单词向量空间，输出层为当前单词的上下文词汇。为了进一步提高相似词的计算精度，给出了含有语法信息POS-skip-gram模型的结构。模型调整为输入层、过滤层、词性标注层、投影层和输出层。

其中，过滤层过滤掉网络语言中使用的符号，使输入更加标准化。词性标注层利用词性标注集对词性进行标注。词性标记集将词分为两类：内容词和虚词。其中，内容词包括名词、动词、形容词、副词、成语等词语。虚词包括介词、连词、感叹词、冠词、数词和量词。名词还包括人名、地名、类名、专有名词等。解决了由于skip-gram语法中不考虑词性，当相似词位于句子中时，模型无法准确识别的问题。

Abstract

Tourism data mining is the process of abstracting data relations from a huge number of tourism data. It can discover the implicit knowledge and rules which hidden in data. The discovery of the semantic relation between tourism words is the important content in tourism data mining. The classical similar words calculation model skip-gram in natural language processing area is introduced in the paper. The part of speech is not considered in skip-gram so when the similar words located closely in a sentence the model cannot identify them accurately. So we provide the model of skip-gram with Chinese Part of Speech—POS-skip-gram. With the help of this model and the tourism data from elong and ctrip website, we have established the semantic relations map of tourism words. The map can be the basis of tourism data mining.