系统学习NLP（三）--NLP入门综述

从这个月开始，进入NLP方向了，因此，系统了看了一遍《自然语言处理综论》，对NLP做了点系统性的了解，后面抽时间一个一个业务或者方向进行实现学习。这里主要是入门的认识，因此，大多数不涉及每个业务应用的最佳实现，比如基本没有深度学习层面的（因为那本书只总结了2009年之前的），不过有了这个基础，每个业务应用，可以针对性深入了解，作为一个大纲吧。

参考：https://www.jianshu.com/p/ee484fd1c6d8

NLP是什么呢？
1.语言是生物同类之间由于沟通需要而制定的具有统一编码解码标准的声音(图像)指令。包含手势、表情、语音等肢体语言，文字是显像符号。
2.自然语言通常是指一种自然地随文化演化的语言。例如英语、汉语、日语等。有别于人造语言，例如世界语、编程语言等。
3.自然语言处理包括自然语言理解和自然语言生成。自然语言理解是将自然语言变成计算机能够理解的语言，及非结构化文本转变为结构化信息。
4.NLP的四大经典“AI 完全 ” 难题：问答、复述、文摘、翻译，只要解决其中一个，另外三个就都解决了。问答就是让机器人很开放的回答你提的各种各样问题，就像真人一样；复述是让机器用另外一种方式表达出来；文摘就是告诉你一篇很长的文章，让你写一个100字的文摘，把它做出来是非常难做的；翻译也是很困难的，英语思维方式和中文思维方式转换过来，中间会涉及到很多复杂的问题。

NLP算法归类整理

下面对我们的算法做一些比较简单的举例。
1.词法分析（分词、词性、实体）：
–算法：基于Bi-LSTM-CRF算法体系，以及丰富的多领域词表
–应用：优酷、YunOS、蚂蚁金服、推荐算法、资讯搜索等
2.句法分析（依存句法分析、成分句法分析）：
–算法：Shift-reduce，graph-based，Bi-LSTM
–新闻领域、商品评价、商品标题、搜索Query
–应用：资讯搜索、评价情感分析
3.情感分析（情感对象、情感属性、情感属性关联）：
–算法：情感词典挖掘，属性级、句子级、篇章级情感分析
–应用：商品评价、商品问答、品牌舆情、互联网舆情
4.句子生成（句子可控改写、句子压缩）：
–算法：Beam Search、Seq2Seq+Attention
–应用：商品标题压缩，资讯标题改写，PUSH消息改写
5.句子相似度（浅层相似度、语义相似度）：
–算法：Edit Distance，Word2Vec，DSSM
–应用：问大家相似问题、商品重发检测、影视作品相似等
6.文本分类/聚类（垃圾防控、信息聚合）：
–算法：ME，SVM，FastText
–应用：商品类目预测、问答意图分析、文本垃圾过滤、舆情聚类、名片OCR后语义识别等
7.文本表示（词向量、句子向量、篇章向量、Seq2Seq）：
–Word2Vec、LSTM、DSSM、Seq2Seq为基础进行深入研究
8.知识库
–数据规模：电商同义词，通用同义词，电商上下位，通用上下位，领域词库（电商词、娱乐领域词、通用实体词），情感词库
–挖掘算法：bootstrapping，click-through mining，word2vec，k-means，CRF
–应用：语义归一、语义扩展、Query理解、意图理解、情感分析
9.语料库
–分词、词性标注数据，依存句法标注数据

上面这些，应该是阿里推出的应用介绍。我决定以后每个问题，都实现一次。。。

下面是我整理的书的笔记，好像也没啥用。留着吧。

---------------------
作者：EasonApp
来源：CSDN
原文：https://blog.csdn.net/App_12062011/article/details/83038516
版权声明：本文为博主原创文章，转载请附上博文链接！

系统学习NLP（三）--NLP入门综述相关推荐

零基础如何系统学习Python？Python入门必看
零基础如何系统学习python,绝大多数零基础转行者学习编程的目的就是想找一份高薪有发展前景的工作,哪个编程语言就业前景好越值得学习.零基础的同学学Python是一个不错的选择. 零基础学习pytho ...
python从入门到精通-小白如何系统学习python，从入门到精通？
其实Python入门并不难,只要你有足够的自信心,明确学习目标,循序渐进就能不断享受到python带给你创新的乐趣. 大家为什么要学习python呢? 1.python简单易学 python的优势就是 ...
视觉SLAM学习（三）--------SLAM 综述
SLAM概述参考资料分享来自本人博客:https://blog.csdn.net/Darlingqiang/article/details/78840931 SLAM一般处理流程包括track和ma ...
ElasticSearch学习之(三)--搜索入门从lucene到Soler，ElasticSearch
一. 什么是搜索搜索大白话来说就是通过部分信息查找我们需要的更多更详细的信息.例如:通过百度,Google等各种工具对视频, 新闻,商品等各种我们需要获取的信息的检索.按照搜索的使用场景大概可以分为 ...
Java I/O系统学习系列三：I/O流的典型使用方式
尽管可以通过不同的方式组合IO流类,但我们可能也就只用到其中的几种组合.下面的例子可以作为典型的IO用法的基本参考.在这些示例中,异常处理都被简化为将异常传递给控制台,但是这只有在小型示例和工具中才适 ...
Linux系统学习之三：新手必须掌握的Linux命令3
内容预览 1.输入输出重定向 2.管道命令符 3.命令行的通配符 4.常用的转义符号 5.重要的环境变量一.输入输出重定向重定向技术的5种模式:1 标准覆盖输出重定向 2 标准追加输出重定向3 错 ...
复杂系统学习（三）：ODE模型I：捕食者—猎物
目录 1. Lotka-Volterra 模型 1.1 模型假设 1.2 模式制定 2. 解决ODEs问题的一些方法 2.1 用欧拉法解决ODEs问题 2.2 使用中点来提高准确性 2.3 使用Run ...
python应用：爬虫框架Scrapy系统学习第三篇——初识scrapy
scrapy的最通用的爬虫流程:UR2IM U:URL R2:Request 以及 Response I:Item M:More URL 在scrapy shell中打开服务器一个网页 cmd中执行: ...
GPT提示词系统学习-第三课-规范化提示让样本走在提示词前
开篇本教程将为您提供有关不同类型提示的术语及如何描述它们.尽管提示工程中已经有一些方法来形式化术语,但这个领域仍在不断发展,我们在这篇教程中将给到大家展示一种基于QA形式的通用的.标准的提示语写法. ...
NLP入门之综述阅读-基于深度学习的自然语言处理研究综述
NLP入门-综述阅读-[基于深度学习的自然语言处理研究综述] 基于深度学习的自然语言处理研究综述摘要 0 引言 1 深度学习概述卷积神经网络递归神经网络 2 NLP应用研究进展 3 预训练语言模 ...

系统学习NLP（三）--NLP入门综述

系统学习NLP（三）--NLP入门综述相关推荐

最新文章

热门文章