什么是“自然语言处理”? 它到底在“处理”些什么？
“自然语言处理” (Natural Language Processing，简称NLP) 是近年来科技界最热门的词语之一，也是当下人工智能研究最热门的领域之一。自然语言处理推动着语言智能的持续发展和突破，并越来越多地应用于各个行业。正如国际知名学者周海中先生曾经所言：“自然语言处理是极有吸引力的研究领域，它具有重大的理论意义和实用价值。”
那么，NLP究竟是什么? 它到底在“处理”什么?这些问题值得人们探讨和关注。所谓NLP，是计算机科学领域与人工智能领域中的一个重要方向;它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。NLP主要应用于机器翻译、语音识别、知识回答、自动摘要、舆情监测、观点提取、知识库构建、文本语义对比、深度学习算法、语音识别与合成等方面。因此，NLP有着十分重要的实际应用意义，也有着革命性的理论意义。
实现人机间自然语言通信意味着要使计算机既能理解自然语言文本的意义，也能以自然语言文本来表达给定的意图、思想等;前者称为自然语言理解，后者称为自然语言生成。因此，NLP大体包括了自然语言理解和自然语言生成两个部分。因为处理自然语言的关键是要让计算机“理解”自然语言,所以通常把自然语言理解视为NLP, 也称为计算语言学。它的终极目标是用自然语言与计算机进行通信，使人们可以用自己最习惯的语言来使用计算机，而无需再花大量的时间和精力去学习不很自然和习惯的各种计算机语言。
NLP是人工智能中最为困难的问题之一。美国微软公司创始人比尔·盖茨先生曾经表示，“语言理解是人工智能领域皇冠上的明珠”。前微软公司全球执行副总裁沈向洋先生也在公开演讲时说：“懂语言者得天下……下一个十年，人工智能的突破在自然语言的理解……人工智能对人类影响最为深刻的就是自然语言方面”。由于理解自然语言需要关于外在世界的广泛知识以及运用操作这些知识的能力，所以NLP也被视为解决人工智能完备(AI-complete)的核心问题之一。
NLP的基本任务包括正则表达式、分词、词法分析、语音识别、文本分类、信息检索、问答系统——如对一些问题进行回答或与用户进行交互——机器翻译等;常用的模型则有马科夫模型、朴素贝叶斯、循环神经网络等。NLP要使用语言知识，如UNIX的wc程序可以用来计算文本文件中的字节数、词数或行数;当用它来计算字节数和行数时，wc只用于进行一般的数据处理，但当用它来计算一个文件中词的数目时，就需要关于“什么是一个词”的语言知识，这样，这个wc也就成为了一个NLP系统。
无论实现自然语言理解，还是自然语言生成，都远不如人们原来想象的那么简单，而是十分困难的。从现有的理论和技术现状看，通用的、高质量的NLP系统，仍然是较长期的努力目标，但是针对一定应用，具有相当NLP能力的实用系统已经出现，有些已商品化，甚至开始产业化。典型的例子有：多语种数据库和专家系统的自然语言接口、各种机器翻译系统、全文信息检索系统、自动文摘系统等。NLP系统的算法是基于机器学习，特别是统计机器学习;许多不同类的机器学习算法已应用于NLP任务。
深度学习在NLP中的应用非常广泛，可以说横扫NLP的各个方面，从底层的分词、语言模型、句法分析等到高层的语义理解、对话管理、知识问答等方面几乎都有深度学习的模型，并且取得了不错的效果。有关研究已从传统的机器学习算法转变成更有表现力的深度学习模型，如卷积神经网络和回归神经网络。不过，目前的深度学习技术还不具备理解和使用自然语言所必需的概念抽象和逻辑推理能力，还有待今后进一步的研究。
总而言之，随着互联网的普及和海量信息的涌现，作为人工智能的核心技术，NLP正在人们的工作、学习、生活中扮演着越来越重要的角色，并将在社会发展和科技进步的过程中发挥越来越重要的作用。
【51CTO原创稿件，合作站点转载请注明原文作者和出处为51CTO.com】
【编辑推荐】
- 人工智能专业包括哪些专业？前景如何？
- 四两拨千斤，如何做到自然语言预训练加速十倍
- 哪些是人工智能时代的安全职业
- 人工智能全面取代人工后，打工人该怎么办，会失业吗？
- 2021年值得关注的5大人工智能和机器学习趋势
什么是“自然语言处理”? 它到底在“处理”些什么？相关推荐
- 「01」机器学习，到底在学些什么？
这是参加原力计划单独投稿的,是我专栏文章的part 2 2. 机器学习,到底在学些什么? 2.1 什么是学习? 根据定义,学习是从有限的例子中,找出问题和答案之间规律的一个过程,而所找出 ...
- 数据库软件架构，到底要设计些什么？
数据库软件架构,到底要设计些什么? 原创作者: 58沈剑 来自公众号:架构师之路 一.基本概念 概念一:单库 概念二:分片 分片解决"数据量太大"这一问题,也就是通常说的" ...
- python中mod是什么意思_【python中，mod_python到底做了些什么呢？】mod python 教程
python 编程小白 ,不会用doctest 请大神指教怎么用!! >>> >>> def is_between(v, lower, higher): ... ...
- 计算机网络到底讲了些什么
小智:大鹏哥,我最近看了下计算机网络,把书上的内容都过了一遍,可是感觉还是串不起来,不知道计算机网络到底讲了些什么内容,也不知道重点在哪里,你能不能给我梳理梳理呀! 计算机为什么要联网 大鹏:行,那咱 ...
- 【zhailu】国外产品经理到底在做些什么？【转载内容】
产品经理在国内可以算是比较新兴的行业.起步晚.环境不同,自然有所需.有所缺. 一开始接触,就感觉,这是要把product从无到有培育起来,--这个product的PM似乎与project的PM雷同只是 ...
- 软件在安装时，到底做了些什么？
软件在安装时,到底做了些什么? 大家每天都在用电脑,可能也经常在自己的电脑上安装软件.就算自己没安装过,至少也看到人家安装过软件.在这里,我不是想教你怎么安装软件,而是想向你展示,软件在安装的过程中, ...
- 冰河最新出版的《深入理解高并发编程：核心原理与案例实战》到底讲了些啥？(视频为证)
大家好,我是冰河~~ 最近有很多小伙伴问我:<深入理解高并发编程:核心原理与案例实战>这本书有没有目录.我:安排!这不,我连夜录制了这本书的整体内容,希望能够为小伙伴们带来实质性的帮助,直 ...
- 【说透中台】03 | 中台定义：当我们谈中台时到底在谈些什么？
前面两讲,我带你从时间维度重新走了一遍中台的发展历程,又在空间维度为你介绍了目前市面上出现过的各类中台. 估计你现在一定被这么多种类的中台搞的有点晕头转向了,这些中台都称的上是中台么?感觉和之前一直在 ...
- 将AI落地到福州、贵阳的「幕后推手」，到底在想些什么？
2020-07-10 15:48:51 乾明 金磊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 从抗击新冠肺炎的冲锋陷阵,到日常生活中的效率提升- 依图科技,正在用一次次行动,一座座城市,展 ...
最新文章
- 江苏开放大学计算机应用基础第四次作业,江苏开放大学-计算机应用基础第四次.doc...
- python-68：BS4获取多个标签的文本
- 推荐几个堪称神器的学习网站
- Async Mode: Future使用
- linux下安装DB2的详细步骤
- https://www.cnblogs.com/jingmoxukong/p/7755643.html
- 京泉华：与小米生态链公司已在智能家居领域等展开相关业务合作
- Android RoboGuice开源框架、Butter Knife开源框架浅析
- python闭包和函数调用区别_对python闭包（内嵌函数）的理解
- sublime 快捷键F5执行python程序
- OPPO消息推送服务器,OPPO开放平台消息推送申请教程
- VM虚拟机 Liunx修改ip地址
- html 规定输入框必须输入
- 电容式 指纹识别 android 智能硬件
- html代码seo,SEO必学基础html代码基础
- 20189200余超 2018-2019-2 移动平台应用开发实践第六周作业
- Spring学习笔记7_使用JSR 330标准注解（Using JSR 330 Standard Annotations）
- 常见界面布局之LinearLayout线性布局
- 【CodeForces 1255E1 --- Send Boxes to Alice [Easy Version]】
- 一名新入职程序员2019的摸爬滚打