百度词条:

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。自然语言处理并不是一般地研究自然语言,而在于研制能有效地实现自然语言通信的计算机系统,特别是其中的软件系统。因而它是计算机科学的一部分。

自然语言处理(NLP)是计算机科学,人工智能,语言学关注计算机和人类(自然)语言之间的相互作用的领域。

Natural language processing (NLP) is a field of computer science, artificial intelligence and computational linguistics concerned with the interactions between computers and human (natural) languages, and, in particular, concerned with programming computers to fruitfully process large natural language corpora. Challenges in natural language processing frequently involve natural language understanding(NLU), natural language generation (frequently from formal, machine-readable logical forms), connecting language and machine perception, dialog systems, or some combination thereof.

随着深度学习的发展,LSTM的应用取得的突破,极大地促进了NLP的发展。

自然语言处理的主要范畴有以下:

  • 文本朗读(Text to speech)/语音合成(Speech synthesis) 
  • 语音识别(Speech recognition) 
  • 中文自动分词(Chinese word segmentation) 
  • 词性标注(Part-of-speech tagging) 
  • 句法分析(Parsing) 
  • 自然语言生成(Natural language generation) 
  • 文本分类(Text categorization) 
  • 信息检索(Information retrieval) 
  • 信息抽取(Information extraction) 
  • 文字校对(Text-proofing) 
  • 问答系统(Question answering) 

给一句人类语言的问定,决定其答案。 典型问题有特定答案 (像是加拿大的首都叫什么?),但也考虑些开放式问句(像是人生的意义是是什么?)

  • 机器翻译(Machine translation) 

将某种人类语言自动翻译至另一种语言

  • 自动摘要(Automatic summarization) 

产生一段文字的大意,通常用于提供已知领域的文章摘要,例如产生报纸上某篇文章之摘要

  • 文字蕴涵(Textual entailment)

自然语言处理目前研究的难点 

  • 单词的边界界定

在口语中,词与词之间通常是连贯的,而界定字词边界通常使用的办法是取用能让给定的上下文最为通顺且在文法上无误的一种最佳组合。在书写上,汉语也没有词与词之间的边界。

  • 词义的消歧

许多字词不单只有一个意思,因而我们必须选出使句意最为通顺的解释。

  • 句法的模糊性

自然语言的文法通常是模棱两可的,针对一个句子通常可能会剖析(Parse)出多棵剖析树(Parse Tree),而我们必须要仰赖语意及前后文的资讯才能在其中选择一棵最为适合的剖析树。

  • 有瑕疵的或不规范的输入

例如语音处理时遇到外国口音或地方口音,或者在文本的处理中处理拼写,语法或者光学字元识别(OCR)的错误。

  • 语言行为与计划

句子常常并不只是字面的意思;例如,“你能把盐递过来吗”,一个好的回答应当是动手把盐递过去;在大多数上下文环境中,“能”将是糟糕的回答,虽说回答“不”或者“太远了我拿不到”也是可以接受的。再者,如果一门课程去年没开设,对于提问“这门课程去年有多少学生没通过?”回答“去年没开这门课”要比回答“没人没通过”好。 
当前自然语言处理研究的发展趋势: 

  • 第一,传统的基于句法-语义规则的理性主义方法受到质疑,随着语料库建设和语料库语言学的崛起,大规模真实文本的处理成为自然语言处理的主要战略目标。
  • 第二,统计数学方法越来越受到重视,自然语言处理中越来越多地使用机器自动学习的方法来获取语言知识。
  • 第三,浅层处理与深层处理并重,统计与规则方法并重,形成混合式的系统。
  • 第四,自然语言处理中越来越重视词汇的作用,出现了强烈的“词汇主义”的倾向。词汇知识库的建造成为了普遍关注的问题。
  • 第五,统计自然语言处理

统计自然语言处理运用了推测学、机率、统计的方法来解决上述,尤其是针对容易高度模糊的长串句子,当套用实际文法进行分析产生出成千上万笔可能性时所引发之难题。处理这些高度模糊句子所采用消歧的方法通常运用到语料库以及马可夫模型(Markov models)。统计自然语言处理的技术主要由同样自人工智能下与学习行为相关的子领域:机器学习及资料采掘所演进而成。 ——转自维基百科。

自然语言处理简介及主要研究方向相关推荐

  1. 1_自然语言处理简介、数据源、应用领域、课程体系

    1.自然语言处理简介 1.1.自然语言处理 1.2.数据源 1.3.应用领域 1.4.课程体系 1.自然语言处理简介 1.1.自然语言处理 为什么需要自然语言处理 人工成本较高,海量数据挖掘困难,人 ...

  2. U1.自然语言处理简介_刘知远老师NLP训练营笔记

    文章目录 一.自然语言处理简介 (一)什么是自然语言? (二)什么是自然语言处理? 二.自然语言处理的挑战 (一)指数级增长搜索空间 (二)多样性 (三)递归性 (四)歧义性 三.自然语言处理的重要性 ...

  3. LoRaWAN ADR (自适应速率) 算法简介及最新研究方向

    LoRaWAN ADR 自适应速率 算法简介及最新研究方向 1. 背景: 1.1 ADR简介 1.2 LoRaWan NS 1.3 ADR目标 1.4 ADR应用场景 2. ADR实现方式.原理: 3 ...

  4. 自然语言处理简介及研究方向

    百度词汇 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向.它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法.自然语言处理是一门融语言学.计算机科学.数学于一体的科学.因此, ...

  5. 自然语言处理简介及开发环境

    2019-1-22 简介 自然语言处理(NLP:Natural Language Processing):自然语言处理是计算机科学领域与人工智能领域中的一个重要方向.它研究能实现人与计算机之间用自然语 ...

  6. 【机器学习】自然语言处理简介

    目录 参考 什么是自然语言处理 自然语言处理的基本方法 自然语言处理的三个层面 自然语言处理的难点 自然语言处理的发展现状 参考 华为云学院 什么是自然语言处理 利用计算机为工具对人类特有的书面形式和 ...

  7. 自然语言处理简介(1)---- 服务梳理与传统汉语分词

    文章大纲 1.Nlp技术体系简介 1.1 基础技术 1.2 Nlp 核心技术 1.3 NlP+(高端技术) 2.知名NLP 服务系统简介 2.1汉语分词系统ICTCLAS 2.2 哈工大语言云(Lan ...

  8. NLP自然语言处理简介

    作者:刘知远.清华大学计算机系副教授.博士生导师.主要研究方向为表示学习.知识图谱和社会计算.2011年获得清华大学博士学位,已在ACL.IJCAI.AAAI等人工智能领域的著名国际期刊和会议发表相关 ...

  9. 人工智能皇冠上的明珠:自然语言处理简介、最新进展、未来趋势

    来源:图灵人工智能  编辑:TJUNLP   自然语言处理(Nature Language Processing,NLP)被誉为"人工智能皇冠上的明珠",一方面表明了它的重要性,另 ...

最新文章

  1. 个人使用OKR目标管理工具的感悟
  2. PHP将XML转成数组
  3. 腾讯微视AI新技术曝光:斩获VCR榜单第一
  4. linq调用mysql函数_如何为linq对象制作一个展平函数(Linq To Entities for mysql)?
  5. django admin扩展 相关备忘录
  6. java 方法重载 应用举例,Java 实例 - 重载(overloading)方法中使用 Varargs
  7. C语言#include还有些你不知道的事
  8. 第二十三期:大规模网站架构?你是否熟悉?
  9. The Book List
  10. oracle 数据库字段html显示正常text显示不全,layui表格字段表格显示不全(自适应)...
  11. 水瓶座的回顾-高贵的程序员
  12. 二叉树 平衡二叉树 红黑树_迅捷树,二叉树
  13. ios刷机固件下载网址
  14. 对给git配置邮箱和用户名的理解
  15. android和手环传输数据,智能手环工作原理_智能手环是如何进行数据传输的 - 全文...
  16. Python爬虫实战详解:爬取图片之家
  17. java递归1加到10,递归1-初识递归
  18. 服务器网页能进去app进不去怎么办啊,ao3网页版进入 ao3进不去怎么办
  19. 网站分析实战——如何以数据驱动决策,提升网站价值(大数据时代的分析利器)...
  20. 在linux下,如何使得某个目录的下的可执行文件,成为系统级的可执行文件

热门文章

  1. 不同网段在一个交换机_192.168.2.1网段要访问192.168.1.1网段的服务器,都有哪些方法?...
  2. Python中自定义函数参数类型
  3. matlab histc的用法,matlab的hist函数应用技巧及使用方法
  4. AudioTrack播放pcm格式音频
  5. 已解决-word粘贴时快捷键实现只保留文本
  6. OpenGL中的glLoadIdentity、glTranslatef、glRotatef原理
  7. C语言关于windows下清屏
  8. 数据库实验一 数据库定义
  9. android查看内核版本号,Android获取系统内核版本的方法
  10. python绘制繁花曲线代码_使用python和pygame绘制繁花曲线