自然语言（NLP）发展史及相关体系

http://blog.itpub.net/29829936/viewspace-2641600/

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。

自然语言发展史（NLP）

(1) 初创期(1947 ～ 1970)：计算机问世(1946)的第二年，英国工程师布斯(A.D.Booth)和美国工程师威弗(W.Weaver)最早提出了利用计算机进行自动翻译。第一代机器翻译系统设计上的粗糙所带来的翻译质量的低劣，最终导致了一些人对机器翻译的研究失去信心。有些人甚至错误地认为机器翻译追求全自动质量目标是不可能实现的。标志着机器翻译的研究就此陷入低谷。

(2) 复苏期(1970 ～ 1976)：尽管机器翻译的研究困难重重，但是法国、日本、加拿大等国仍然坚持机器翻译的研究。在20 世纪70 年代初期，机器翻译又出现了复苏的局面。机器翻译的研究者逐渐认识到机器翻译过程本身必须保持原语和译语在语义上的一致，一个好的机器翻译系统应该把原语的语义准确无误地在译语中表现出来。于是，语义分析在机器翻译中越来越受到重视。

(3) 繁荣期(1976 ～至今)：繁荣期最突出的特点是机器翻译研究走上了实用化的道路，出现了一大批实用化的机器翻译系统，机器翻译产品开始进入市场，逐渐由实用化步入商业化。第二代机器翻译系统以基于转换的方法为代表，普遍采用以句法分析为主、语义分析为辅的基于规则的方法，采用由抽象的转换表示的分层次实现策略。

相关体系

1、句法语义分析：针对目标句子，进行各种句法分析，如分词、词性标记、命名实体识别及链接、句法分析、语义角色识别和多义词消歧等。

关键字提取：抽取目标文本中的主要信息，比如从一条新闻中抽取关键信息。主要是了解是谁、何时、何地、对谁、做了何事、产生了什么结果。涉及实体识别、时间抽取、因果关系抽取等技术。

2、文本挖掘：主要包含了对文本的聚类、分类、信息抽取、摘要、情感分析以及对挖掘的信息和知识的可视化、交互式的呈现界面。

3、机器翻译：将输入的源语言文本通过自动翻译转化为另一种语言的文本。机器翻译从最早的基于规则到二十年前的基于统计的方法，再到今天的基于深度学习(编解码)的方法，逐渐形成了一套比较严谨的方法体系。

4、信息检索：对大规模文档进行索引。可简单对文档中的词汇，赋予不同的权重来建立索引，也可以使用算法来建立更深层的索引。查询时，首先对输入进行分析，然后在索引里面查找匹配的候选文档，再根据一个排序机制把候选文档排序，最后输出排序得分最高的文档。

5、问答系统：针对某个自然语言表达的问题，由问答系统给出一个精准的答案。需要对自然语言查询语句进行语义分析，包括实体链接、关系识别，形成逻辑表达式，然后到知识库中查找可能的候选答案并通过排序机制输出最佳答案。

6、对话系统：系统通过多回合对话，跟用户进行聊天、回答、完成某项任务，主要涉及用户意图识别、通用聊天引擎、问答引擎、对话管理系统等技术。此外，为了提现上下文相关，要具备多轮对话能力。同时，为了提现个性化，对话系统还需要基于用户画像做个性化回复。

7、语料库：语料库中存放的是在语言的实际使用中真实出现过的语言材料;语料库是以电子计算机为载体承载语言知识的基础资源;真实语料需要经过加工(分析和处理)，才能成为有用的资源。

自然语言（NLP）发展史及相关体系相关推荐

GitHub项目：自然语言处理领域的相关干货整理
GitHub项目:自然语言处理领域的相关干货整理自然语言处理(NLP)是计算机科学,人工智能,语言学关注计算机和人类(自然)语言之间的相互作用的领域.本文作者为NLP初学者整理了一份庞大的自然语言处 ...
CPU发展史和相关品牌介绍
CPU发展史和相关品牌介绍 CPU发展已经有40多年的历史了.我们通常将其分成六个阶段. (1)第一阶段 (1971年-1973年) .这是4位和8位低档微处理器时代,代表产品是Intel 4004 ...
自然语言处理算法工程师笔试题目_NLPer-Interview - NLP 算法工程师相关的面试题...
Introduction 本仓库主要记录本人对 NLP 相关知识的积累,之前笔记做的很多,考虑到秋招已至, 在复习的过程中, 慢慢将这些知识屡清楚,然后将相关的知识笔记整理成专题,来帮助我更好的复习. ...
15年来，自然语言处理发展史上的8大里程碑
来源:Deep Tech深科技自然语言是人类独有的智慧结晶.自然语言处理(Natural Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向,旨在研究能 ...
【资源】NLP 算法工程师相关的面试题
点击上方,选择星标或置顶,每天给你送干货! 阅读大概需要4分钟跟随小博主,每天进步一丢丢作者 | songyingxin https://github.com/songyingxin/NLPer- ...
【自然语言处理】ChatGPT 相关核心算法
ChatGPT 相关核心算法 ChatGPT 的卓越表现得益于其背后多项核心算法的支持和配合.本文将分别介绍作为其实现基础的 Transformer 模型.激发出其所蕴含知识的 Prompt / In ...
【深度学习NLP】初识深度学习(DL)与自然语言(NLP)
一.自然语言(NLP)处理概述 1.什么是自然语言(NLP) 自然语言就是人类所了解到的语言,与计算机语言相比本质上两者是同义的. 2.自然语言处理(NLP)的基础概念 (1)横跨了计算机科学.语言学 ...
自然语言处理及计算语言学相关术语中英对译表
abbreviation 缩写 [省略语] ablative 夺格(的) abrupt 突发音 accent 口音/{Phonetics}重音 accusative 受格(的) acoustic ph ...
《自然语言处理》的相关资源
特别推荐系列: 1.HMM学习最佳范例全文文档,百度网盘链接: http://pan.baidu.com/s/1pJoMA2B 密码: f7az 2.无约束最优化全文文档 -by @朱鉴 ,百度网盘链 ...

自然语言（NLP）发展史及相关体系

自然语言（NLP）发展史及相关体系相关推荐

最新文章

热门文章