自然语言处理NLP基本知识小结

1.什么是NLP？
人与人、人与计算机交互中的语言问题。
能力模型，通常是基于语言学规则的模型，建立在人脑中先天存在语法通则这一假设的基础上，认为语言是人脑的语言能力推导出来的，建立语言模型就是通过建立人工编辑的语言规则集来模拟这种先天的语言能力。又称“理性主义的”语言模型。
应用模型，根据不同的语言处理应用而建立的特定语言模型，通常是基于统计的模型。又称“经验主义的”语言模型，使用大规模真实语料库中获得语言各级语言单位上的统计信息，依据较低级语言单位上的统计信息运用相关的统计推理技术计算较高级语言单位上的统计信息

2、分词
词是最小的能够独立活动的有意义的语言成分，英文单词之间是以空格作为自然分界符的，而汉语是以字为基本的书写单位，词语之间没有明显的区分标记，因此，中文词语分析是中文信息处理的基础与关键。
中文分词技术可分为三大类：基于字典、词库匹配的分词方法；基于词频度统计的分词方法和基于知识理解的分词方法。
http://www.cnblogs.com/flish/archive/2011/08/08/2131031.html

3、词性标注
词性标注（Part-of-Speech tagging 或POS tagging)，又称词类标注或者简称标注，是指为分词结果中的每个单词标注一个正确的词性的程序，也即确定每个词是名词、动词、形容词或其他词性的过程。在汉语中，词性标注比较简单，因为汉语词汇词性多变的情况比较少见，大多词语只有一个词性，或者出现频次最高的词性远远高于第二位的词性。据说，只需选取最高频词性，即可实现80%准确率的中文词性标注程序。利用HMM即可实现更高准确率的词性标注
http://blog.csdn.net/truong/article/details/18847549

4、命名实体识别
命名实体识别（Named Entity Recognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。
（1）实体边界识别；（2）确定实体类别（人名、地名、机构名或其他）
命名实体识别是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基础工具。

基于规则和词典的方法（ MUC-6 会议中几乎所有参赛成员都采用基于规则的方法），该方法需要专家制定规则，准确率较高，但依赖于特征领域，可移植性差；
基于统计的方法，主要采用 HMM 、 MEMM 、 CRF, 难点在于特征选择上，该方法能获得好的鲁棒性和灵活性，不需太多的人工干预和领域限制，但需要大量的标注集。
混合方法，采用规则与统计相结合，多种统计方法相结合等，是目前主流的方法。
特征：上下文信息+构词法

5、指代消解
指代是一种常见的语言现象，一般情况下，指代分为2种：回指和共指。
回指是指当前的照应语与上文出现的词、短语或句子(句群)存在密切的语义关联性，指代依存于上下文语义中，在不同的语言环境中可能指代不同的实体，具有非对称性和非传递性；
共指主要是指2个名词(包括代名词、名词短语)指向真实世界中的同一参照体，这种指代脱离上下文仍然成立。
目前指代消解研究主要侧重于等价关系，只考虑2个词或短语是否指示现实世界中同一实体的问题，即共指消解。

中文的指代主要有3种典型的形式：
(1)人称代词(pronoun)，例如：李明怕高妈妈一人呆在家
里寂寞，他便将家里的电视搬了过来。
(2)指示代词(demonstrative)，例如：很多人都想留下什么给孩子，这可以理解，但不完全正确。
(3)有定描述(definite description)，例如：，贸易制裁已经成为了美国政府对华的惯用大棒，这根大棒真如美国政府所希望的那样灵验吗?

6、文本分类
一个文本(以下基本不区分“文本”和“文档”两个词的含义) 分类问题就是将
一篇文档归入预先定义的几个类别中的一个或几个，而文本的自动分类则是使用计算机程序来实现这样的分类。

7、问答系统
问答系统(Question Answering System, QA)是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。
依据问题类型可分为：限定域和开放域两种，依据数据类型可分为：结构型和无结构型（文本），依据答案类型可分为：抽取式和产生式两种。
问句分析-》文档检索-》答案抽取（验证）
---------------------
作者：默一鸣
来源：CSDN
原文：https://blog.csdn.net/yimingsilence/article/details/54934516
版权声明：本文为博主原创文章，转载请附上博文链接！

自然语言处理NLP基本知识小结相关推荐

NLP汉语自然语言处理入门基础知识介绍
NLP汉语自然语言处理入门基础知识介绍自然语言处理定义: 自然语言处理是一门计算机科学.人工智能以及语言学的交叉学科.虽然语言只是人工智能的一部分(人工智能还包括计算机视觉等),但它是非常独特的一部 ...
领域应用 | NLP 和知识图谱：金融科技领域的“双子星”
本文转载自公众号:恒生技术之眼. 自然语言处理(Natural Language Processing, NLP,语义计算)和知识图谱(Knowledge Graph, KG,知识计算)作为认知智能的 ...
转载干货 | 陪伴我学习NLP、知识图谱的那些资源（教程+书籍+网站+工具+论文...可以说很全面了）
https://blog.csdn.net/guleileo/article/details/81140179 干货 | 陪伴我学习NLP.知识图谱的那些资源(教程+书籍+网站+工具+论文...可以说 ...
干货 | NLP、知识图谱教程、书籍、网站、工具...（附资源链接）
来源:人工智能头条本文多资源,建议阅读收藏. 本文整理了关于 NLP 与知识图谱的众多参考资源,涵盖内容与形式非常丰富. [ 导读 ]本文作者一年前整理了这份关于 NLP 与知识图谱的参考资源,涵盖 ...
自然语言处理NLP国内研究方向机构导师
自然语言处理NLP国内研究方向机构导师文|中文信息协会<中文信息处理发展报告2016>,数据简化DataSimp 文字语言VS数字信息数字.文字和自然语言一样,都是信息的载体,他们之间 ...
国内有哪些自然语言处理(NLP)专业比较厉害的985高校？
来自 | 知乎作者 | 忆臻地址 | https://www.zhihu.com/question/291266315/answer/474662339 编辑 | 机器学习算法与自然语言处理国内 ...
独家 | 一文读懂自然语言处理NLP（附学习资料）
前言自然语言处理是文本挖掘的研究领域之一,是人工智能和语言学领域的分支学科.在此领域中探讨如何处理及运用自然语言. 对于自然语言处理的发展历程,可以从哲学中的经验主义和理性主义说起.基于统计的自然语 ...
大数据分析深度学习在自然语言处理NLP中的应用
通过深度学习的先进技术,自然语言处理取得了令人难以置信的进步.了解这些强大的模型,并发现这些方法与人类水平的理解有多近(或遥远). 人类有很多感觉,但我们的感官体验通常以视觉为主.考虑到这一点,现代机 ...
自然语言处理NLP简介
自然语言处理NLP简介 NLP简介 1 引言人工智能.机器学习.深度学习什么是自然语言处理? 人工智能的流派 2 NLP发展历史人工智能发展历史推理期知识期学习期文本的预训练可分为两个重 ...

自然语言处理NLP基本知识小结

自然语言处理NLP基本知识小结相关推荐

最新文章

热门文章