自然语言处理简介及研究方向

百度词汇

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。
自然语言处理（NLP）是计算机科学，人工智能，语言学关注计算机和人类（自然）语言之间的相互作用的领域。

随着深度学习的发展，LSTM的应用取得的突破，极大地促进了NLP的发展。

自然语言处理的主要范畴有以下

文本朗读（Text to speech）/语音合成（Speech synthesis）
语音识别（Speech recognition）
中文自动分词（Chinese word segmentation）
词性标注（Part-of-speech tagging）
句法分析（Parsing）
自然语言生成（Natural language generation）
文本分类（Text categorization）
信息检索（Information retrieval）
信息抽取（Information extraction）
文字校对（Text-proofing）
问答系统（Question answering）

给一句人类语言的问定，决定其答案。典型问题有特定答案 (像是加拿大的首都叫什么?)，但也考虑些开放式问句(像是人生的意义是是什么?)

机器翻译（Machine translation）

将某种人类语言自动翻译至另一种语言

自动摘要(Automatic summarization)

产生一段文字的大意，通常用于提供已知领域的文章摘要，例如产生报纸上某篇文章之摘要

文字蕴含（Textual entailment）

自然语言处理目前研究的难点

单词的边界界定

在口语中，词与词之间通常是连贯的，而界定字词边界通常使用的办法是取用能让给定的上下文最为通顺且在文法上无误的一种最佳组合。在书写上，汉语也没有词与词之间的边界。

词义的消岐

许多字词不单只有一个意思，因而我们必须选出使句意最为通顺的解释。

句法的模糊性

自然语言的文法通常是模棱两可的，针对一个句子通常可能会剖析（Parse）出多棵剖析树（Parse Tree），而我们必须要仰赖语意及前后文的资讯才能在其中选择一棵最为适合的剖析树。

有瑕疵的或不规范的输入

例如语音处理时遇到外国口音或地方口音，或者在文本的处理中处理拼写，语法或者光学字元识别（OCR）的错误。

语言行为与计划

句子常常并不只是字面的意思；例如，“你能把盐递过来吗”，一个好的回答应当是动手把盐递过去；在大多数上下文环境中，“能”将是糟糕的回答，虽说回答“不”或者“太远了我拿不到”也是可以接受的。再者，如果一门课程去年没开设，对于提问“这门课程去年有多少学生没通过？”回答“去年没开这门课”要比回答“没人没通过”好。
当前自然语言处理研究的发展趋势：

第一，传统的基于句法-语义规则的理性主义方法受到质疑，随着语料库建设和语料库语言学的崛起，大规模真实文本的处理成为自然语言处理的主要战略目标。
第二，统计数学方法越来越受到重视，自然语言处理中越来越多地使用机器自动学习的方法来获取语言知识。
第三，浅层处理与深层处理并重，统计与规则方法并重，形成混合式的系统。
第四，自然语言处理中越来越重视词汇的作用，出现了强烈的“词汇主义”的倾向。词汇知识库的建造成为了普遍关注的问题。
第五，统计自然语言处理

统计自然语言处理运用了推测学、机率、统计的方法来解决上述，尤其是针对容易高度模糊的长串句子，当套用实际文法进行分析产生出成千上万笔可能性时所引发之难题。处理这些高度模糊句子所采用消歧的方法通常运用到语料库以及马可夫模型（Markov models）。统计自然语言处理的技术主要由同样自人工智能下与学习行为相关的子领域：机器学习及资料采掘所演进而成。 ——转自维基百科。

自然语言处理简介及研究方向相关推荐

自然语言处理NLP国内研究方向机构导师
自然语言处理NLP国内研究方向机构导师文|中文信息协会<中文信息处理发展报告2016>,数据简化DataSimp 文字语言VS数字信息数字.文字和自然语言一样,都是信息的载体,他们之间 ...
1_自然语言处理简介、数据源、应用领域、课程体系
1.自然语言处理简介 1.1.自然语言处理 1.2.数据源 1.3.应用领域 1.4.课程体系 1.自然语言处理简介 1.1.自然语言处理 为什么需要自然语言处理人工成本较高,海量数据挖掘困难,人 ...
U1.自然语言处理简介_刘知远老师NLP训练营笔记
文章目录一.自然语言处理简介 (一)什么是自然语言? (二)什么是自然语言处理? 二.自然语言处理的挑战 (一)指数级增长搜索空间 (二)多样性 (三)递归性 (四)歧义性三.自然语言处理的重要性 ...
自然语言处理简介及主要研究方向
百度词条: 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向.它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法.自然语言处理是一门融语言学.计算机科学.数学于一体的科学.因此 ...
自然语言处理简介及开发环境
2019-1-22 简介自然语言处理(NLP:Natural Language Processing):自然语言处理是计算机科学领域与人工智能领域中的一个重要方向.它研究能实现人与计算机之间用自然语 ...
【机器学习】自然语言处理简介
目录参考什么是自然语言处理自然语言处理的基本方法自然语言处理的三个层面自然语言处理的难点自然语言处理的发展现状参考华为云学院什么是自然语言处理利用计算机为工具对人类特有的书面形式和 ...
自然语言处理简介（1）---- 服务梳理与传统汉语分词
文章大纲 1.Nlp技术体系简介 1.1 基础技术 1.2 Nlp 核心技术 1.3 NlP+(高端技术) 2.知名NLP 服务系统简介 2.1汉语分词系统ICTCLAS 2.2 哈工大语言云(Lan ...
NLP自然语言处理简介
作者:刘知远.清华大学计算机系副教授.博士生导师.主要研究方向为表示学习.知识图谱和社会计算.2011年获得清华大学博士学位,已在ACL.IJCAI.AAAI等人工智能领域的著名国际期刊和会议发表相关 ...
人工智能皇冠上的明珠：自然语言处理简介、最新进展、未来趋势
来源:图灵人工智能编辑:TJUNLP 自然语言处理(Nature Language Processing,NLP)被誉为"人工智能皇冠上的明珠",一方面表明了它的重要性,另 ...

自然语言处理简介及研究方向

自然语言处理简介及研究方向相关推荐

最新文章

热门文章