NLP汉语自然语言处理入门基础知识介绍

NLP汉语自然语言处理入门基础知识介绍

自然语言处理定义：

自然语言处理是一门计算机科学、人工智能以及语言学的交叉学科。虽然语言只是人工智能的一部分（人工智能还包括计算机视觉等），但它是非常独特的一部分。这个星球上有许多生物拥有超过人类的视觉系统，但只有人类才拥有这么高级的语言。

自然语言处理的目标是让计算机处理或说“理解”自然语言，以完成有意义的任务，比如订机票购物或QA等。完全理解和表达语言是极其困难的，完美的语言理解等效于实现人工智能。

自然语言处理涉及的几个层次：

作为输入一共有两个来源，语音与文本。所以第一级是语音识别和OCR或分词（事实上，跳过分词虽然理所当然地不能做句法分析，但字符级也可以直接做不少应用）。接下来是形态学，援引《统计自然语言处理》中的定义：形态学（morphology）：形态学（又称“词汇形态学”或“词法”）是语言学的一个分支，研究词的内部结构，包括屈折变化和构词法两个部分。由于词具有语音特征、句法特征和语义特征，形态学处于音位学、句法学和语义学的结合部位，所以形态学是每个语言学家都要关注的一门学科。

Hanlp自然语言处理开发包：

从事大数据方面工作的人对自然语言处理必然都是不陌生的，在Github上用户量最多的开源汉语自然语言处理工具是HanLP。HanLP的初始版本是在2014年初开发的，3月份的时候开始在Github上开源。2015年的时候集成在了大快搜索的DKNLP中，目前大快已经把DKNLP技术成果已经开源，并且整体装如HanLP项目，HanLP的版本已经到了V1.50。

Hanlp自然语言处理技术优势：

支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词调、词性标注），命名实体识别（中国人民、音译人民、日本人民，地名，实体机构名识别），关键词提取，自动摘要，短语提取，拼音转换，简繁转换，文本推荐，依存句法分析（MaxEnt依存句法分析、神经网络依存句法分析）。提供Lucene查件，兼容Solr和ElasticSearch。

Hanlp自然语言处理应用领域：

Hanlp已经被广泛应用于Lucene、Solr、ElasticSearch、hadoop、android、Resin等平台，有大量开源作者开发各种查件与拓展，并且被包装或移植到Python、C#、R、JavaScript等语言上去。

转载于:https://www.cnblogs.com/dashuju2018/p/9835388.html

NLP汉语自然语言处理入门基础知识介绍相关推荐

undo系列学习之undo入门基础知识介绍
图2: 图3: 图4: 图5: 图6: 图7: 图8: 图9: 图10: 图11: 图12: 图12: 图13: undo的相关统计信息:
Sketch Mac入门基础知识——蒙版(Mask)的详细使用方法介绍
在上一篇文章,我们认识了Sketch Mac这款软件,在本文中,我们再来看看Sketch Mac入门基础知识--蒙版(Mask)的详细使用方法介绍,让您更多更好的了解Sketch Mac,为以后使用奠 ...
PLC编程入门-01基础知识介绍
PLC编程入门-01基础知识介绍 PLC的组成结构 PLC编程语言: PLC输入输出的特点输入输出 PLC的组成结构简图明细图 CPU:控制器和运算器本身就是CPU主要组成部分,和PC的CPU ...
Python培训入门基础知识学什么?
Python培训基础知识主要是针对一些零基础的同学安排的,虽说Python是相对比较简单的一门编程语言,但是没有基础的同学还是要进行系统的学习,那么Python培训入门基础知识学什么呢?来看看下面小编 ...
***入门基础知识(超全)
***入门基础知识(超全) [sell=2] DOS 常用命令: dir 列文件名 deltree 删除目录树 cls 清屏 cd 改变当前目录 copy 拷贝文件 diskcopy 复制磁盘 de ...
Python入门基础知识学什么?
Python基础知识主要是针对一些零基础的同学安排的,虽说Python是相对比较简单的一门编程语言,但是没有基础的同学还是要进行系统的学习,那么Python入门基础知识学什么呢?来看看下面小编的详细介 ...
C语言入门基础知识有哪些？
众所周知C语言经久不衰,并且很多人都想要成为C语言工程师,为了能够做好C语言技术学习,需要知晓C语言入门基础知识有哪些. 用一个简单的C程序例子,介绍C语言的基本构成.格式.以及良好的书写风格,使小伙 ...
Windows通用克隆系统入门基础知识简介
Windows通用克隆系统入门基础知识简介这里的Windows是指微软的Windows 2000/XP/2003(后文中未经说明的,凡是Windows均指这三种系统):所谓的通用克隆,俗名万能克隆, ...
数据库入门理论知识介绍以及编译安装MySql
数据库入门理论知识介绍以及编译安装MySql 作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 前言: 1.目前90%以上的公司面临的运维的瓶颈都在后端最常见的2大瓶颈就是: 1&g ...

NLP汉语自然语言处理入门基础知识介绍

NLP汉语自然语言处理入门基础知识介绍相关推荐

最新文章

热门文章