了解NLP(自然语言处理)技术
简介:
自然语言处理(NLP,Natural Language Processing) 是研究人与计算机交互的语言问题的一门学科。按照技术实现难度的不同,这类系统可以分成简单匹配式、模糊匹配式和段落理解式三种类型。
按照技术实现难度的不同,这类系统可以分成简单匹配式、模糊匹配式和段落理解式三种类型。简单匹配式辅导答疑系统主要通过简单的关键字匹配技术来实现对学生提出问题与答案库中相关应答条目的匹配,从而做到自动回答问题或进行相关辅导。模糊匹配式辅导答疑系统则在此基础上増加了同义词和反义词的匹配。这样,即使学生所提问题中按原来的关键字在答案库中找不到直接匹配的答案,但是假若与该关键字同义或反义的词能够匹配则仍可在答案库中找到相关的应答条目。段落理解式辅导答疑系统是最理想的、也是真正智能化的辅导答疑系统(简单匹配式和模糊匹配式,严格说只能称之为“自动辅导答疑系统”而非“智能辅导答疑系统”)。但是由于这种系统涉及自然语言的段落理解,对于汉语来说,这种理解涉及自动分词、词性分析、句法分析和语义分析等NLP领域的多种复杂技术,所以实现难度很大。迄今为止,在国内的网络教学中还没有一个实用化的、能真正实现汉语段落理解的智能辅导答疑系统。
NLP 为什么重要?
在人工智能出现之前,机器智能处理结构化的数据(例如 Excel 里的数据)。但是网络中大部分的数据都是非结构化的,例如:文章、图片、音频、视频…
在非结构数据中,文本的数量是最多的,他虽然没有图片和视频占用的空间大,但是他的信息量是最大的。
为了能够分析和利用这些文本信息,我们就需要利用 NLP 技术,让机器理解这些文本信息,并加以利用。
什么是自然语言处理 – NLP
每种动物都有自己的语言,机器也是!
自然语言处理(NLP)就是在机器语言和人类语言之间沟通的桥梁,以实现人机交流的目的。
人类通过语言来交流,狗通过汪汪叫来交流。机器也有自己的交流方式,那就是数字信息。
不同的语言之间是无法沟通的,比如说人类就无法听懂狗叫,甚至不同语言的人类之间都无法直接交流,需要翻译才能交流。
而计算机更是如此,为了让计算机之间互相交流,人们让所有计算机都遵守一些规则,计算机的这些规则就是计算机之间的语言。
既然不同人类语言之间可以有翻译,那么人类和机器之间是否可以通过“翻译”的方式来直接交流呢?
NLP 就是人类和机器之间沟通的桥梁!
为什么是“自然语言”处理?
自然语言就是大家平时在生活中常用的表达方式,大家平时说的「讲人话」就是这个意思。
自然语言理解 – NLU|NLI
自然语言理解就是希望机器像人一样,具备正常人的语言理解能力,由于自然语言在理解上有很多难点(下面详细说明),所以 NLU 是至今还远不如人类的表现。
自然语言理解的5个难点:
- 语言的多样性
- 语言的歧义性
- 语言的鲁棒性
- 语言的知识依赖
- 语言的上下文
自然语言生成 – NLG
NLG 是为了跨越人类和机器之间的沟通鸿沟,将非语言格式的数据转换成人类可以理解的语言格式,如文章、报告等。
NLG 的6个步骤:
1.内容确定 – Content Determination
2.文本结构 – Text Structuring
3.句子聚合 – Sentence Aggregation
4.语法化 – Lexicalisation
5.参考表达式生成 – Referring Expression Generation|REG
6.语言实现 – Linguistic Realisation
NLP 的5个难点
- 语言是没有规律的,或者说规律是错综复杂的。
- 语言是可以自由组合的,可以组合复杂的语言表达。
- 语言是一个开放集合,我们可以任意的发明创造一些新的表达方式。
- 语言需要联系到实践知识,有一定的知识依赖。
- 语言的使用要基于环境和上下文。
NLP 的4个典型应用
情感分析
互联网上有大量的文本信息,这些信息想要表达的内容是五花八门的,但是他们抒发的情感是一致的:正面/积极的 – 负面/消极的。
通过情感分析,可以快速了解用户的舆情情况。
聊天机器人
过去只有 Siri、小冰这些机器人,大家使用的动力并不强,只是当做一个娱乐的方式。但是最近几年智能音箱的快速发展让大家感受到了聊天机器人的价值。
而且未来随着智能家居,智能汽车的发展,聊天机器人会有更大的使用价值。
语音识别
语音识别已经成为了全民级的引用,微信里可以语音转文字,汽车中使用导航可以直接说目的地,老年人使用输入法也可以直接语音而不用学习拼音…
机器翻译
目前的机器翻译准确率已经很高了,大家使用 Google 翻译完全可以看懂文章的大意。传统的人肉翻译未来很可能会失业。
了解NLP(自然语言处理)技术相关推荐
- 百度AI利用NLP自然语言处理技术发力智能写作
百度上线的智能写作平台集合了百度领先的自然语言处理技术(NLP)和知识图谱技术(KG),内置百度丰富的数据和素材,给您提供自动写作和辅助写作的能力,帮您全面提升内容创作效率,旨在成为最懂你的智能写作助 ...
- ai人工智能培训老师讲师NLP自然语言处理讲师叶梓:人工智能之最新NLP自然语言处理技术与实战-12
接上一页 个人助理QQ526346584 P27-P28 句法解析 •句法解析是NLP中的关键技术之一,其任务是确定句子的句法结构或者句子中词汇之间的依存关系. 好巴适抄手真的好巴适哦! ü 句法结构 ...
- 人工智能培训师ai培训师NLP讲师叶梓:人工智能之最新NLP自然语言处理技术与实战-15
接上一页 P32-P33 SnowNLP实现情感极性判断 •from snownlp import SnowNLP •s = SnowNLP(u'这个东西真心很赞') •print(s.words) ...
- 人工智能培训师ai培训师NLP讲师叶梓:人工智能之最新NLP自然语言处理技术与实战-16
接上一页 P34-P35 流行NLP系统介绍 流行NLP系统介绍 系统/工具包 说明 NLTK NLP 工具包 用于诸如标记化.词形还原.词干提取.解析.POS标记等任务.该库具备可用于几乎所有 NL ...
- 人工智能AI讲师NLP培训讲师叶梓:人工智能之最新NLP自然语言处理技术与实战-23
接上一篇 P50-P51 三个问题 •令 λ = {A,B,π} 为给定HMM的参数,令 σ = O1,...,OT 为观察值序列: •隐马尔可夫模型(HMM)的三个基本问题: •评估问题:对于给定模 ...
- ai人工智能培训老师讲师NLP自然语言处理讲师叶梓:人工智能之最新NLP自然语言处理技术与实战-10
接上一页 P23-P24 多义字:"由"字的释义 <动>经过.<论语-雍也>:"谁能出不由户?" <动>捱到.<茅屋为 ...
- 人工智能专家讲师培训老师叶梓:人工智能之最新NLP自然语言处理技术与实战-28
接上一篇 培训合作扣扣526346584 P60-P61 Viterbi算法-示例 • 3. 求第二天( 感觉冷 )的身体状况: 有四种情况,由于第一天的感冒或者健康转换到第二天的感冒或者健康. • ...
- 腾讯云大学大咖分享 | 自然语言处理技术(NLP)究竟能做些什么?
自然语言处理(Natural Language Processing,缩写作 NLP)是人工智能(AI)领域的一个重要分支,被广泛应用于聊天机器人.机器翻译和搜索引擎等场景.为帮助大家更好地理解NLP ...
- nlp自然语言处理_nlp满足可持续投资
nlp自然语言处理 Sustainable Investing is a growing investment strategy that seeks strong financial returns ...
- 自然语言处理技术(NLP)在推荐系统中的应用 原2017.06.29人工智能头条 作者: 张相於,58集团算法架构师,转转搜索推荐部负责人,负责搜索、推荐以及算法相关工作。多年来主要从事推荐系统以及机
自然语言处理技术(NLP)在推荐系统中的应用 原2017.06.29人工智能头条 作者: 张相於,58集团算法架构师,转转搜索推荐部负责人,负责搜索.推荐以及算法相关工作.多年来主要从事推荐系统以及机 ...
最新文章
- 使用Asible批量部署Apache
- 2013第四届蓝桥杯Java组省赛题解析
- [c++]Struct和Class的区别
- 【easy】234. Palindrome Linked List
- Linux机器件拷贝文件
- localStorage使用总结,页面跳转,保存值
- plsa java代码_LDA主题聚类学习小结
- python在线编程免费课程-十大python零基础编程在线网课一对一费用多少钱
- mysql读写分离代码层实现_Mysql主从配置,实现读写分离
- TPL中的task并不是thread
- python __set__ __get___python __get__ __set__
- QImage 图像处理
- CV之FR:基于某AI公司的API接口基于人脸识别实现计算人脸相似度(计算两张人脸图片相似度进而判断否为同一个人)—利用人工智能算法判断相似度极高的国内外明星案例应用
- #(九)、江恩关注的古代数理必要的解读
- python 爬虫 中乱码问题0xb5 和b'\x1f\x8b\x08
- 小米手表如何优雅听歌?
- 如何在Java中实现画图(图文并茂)(内附美丽的分型图片哦)
- TPshop项目-功能测试(1)
- 【ansys常见命令集合】
- 几个cve漏洞库查询网站
热门文章
- 仿站源码上传服务器,仿爱站站长查询工具网源码带后台完整版
- 华为手机隐藏app图标_华为手机怎么隐藏应用图标
- mysql的第一次作业_数据库原理第一次作业-答案
- coreos 安装 mysql_在CoreOS下部署WordPress实例教程
- 介绍两种常见软件开发模式:“敏捷”和“瀑布”
- 基于单片机智能交通灯控制系统设计外文文献_三种典型的微机控制系统
- win7 管理iphone日历_软媒时间3.08正式版:让Win7用上最美桌面日历
- 北理珠计算机学院男女,计然来了 | 我与北理珠的那些日子(下篇)
- 常用审计计算机软件,审计软件
- 高级JAVA开发 分布式系统部分