自然语言处理基础技术之成分句法分析
声明:转载请注明出处,谢谢:https://blog.csdn.net/m0_37306360/article/details/84670800
另外,更多实时更新的个人学习笔记分享,请关注:
知乎:https://www.zhihu.com/people/yuquanle/columns
公众号:StudyForAI
首先依旧来查查它的定义:
百度百科定义:句子的组成成分叫句子成分,也叫句法成分。在句子中,词与词之间有一定的组合关系,按照不同的关系,可以把句子分为不同的组成成分。句子成分由词或词组充当。
维基百科定义:The constituency-based parse trees of constituency grammars (= phrase structure grammars) distinguish between terminal and non-terminal nodes. The interior nodes are labeled by non-terminal categories of the grammar, while the leaf nodes are labeled by terminal categories.
句法结构分析是指对输入的单词序列(一般为句子)判断其构成是否合乎给定的语法,分析出合乎语法的句子的句法结构。句法结构一般用树状数据结构表示,通常称之为句法分析树(syntactic parsing tree)或简称分析树(parsing tree),而完成这种分析过程的程序模块称为句法结构分析器(syntactic parser),也简称分析器(parser)。
基本任务:
句法结构分析的基本任务主要有三个:
- 判断输入的字符串是否属于某种语言
- 消除输入句子中的词法和结构等方面的歧义
- 分析输入句子的内部结构,如成分构成、上下文关系等。
如果一个句子有多种结构表示,句法分析器应该分析出该句子最有可能的结构。有时人们也把句法结构分析称为语言或句子识别。
一般构造一个句法分析器需要考虑二部分:语法的形式化表示和词条信息描述问题,分析算法的设计。目前在自然语言处理中广泛使用的是上下文无关文法(CFG)和基于约束的文法(又称合一语法)。
基本方法:
句法结构分析可以分为基于规则的分析方法、基于统计的分析方法以及近年来基于深度学习的方法。
- 基于规则的分析方法:其基本思路是由人工组织语法规则,建立语法知识库,通过条件约束和检查来实现句法结构歧义的消除。
- 基于统计的分析方法:统计句法分析中目前最成功当属基于概率上下文无关文法(PCFG或SCFG)。该方法采用的模型主要包括词汇化的概率模型(lexicalized probabilistic model)和非词汇化的概率模型(unlexicalized probabilistic model)两种。
- 基于深度学习的分析方法:近几年深度学习在nlp基础任务取得了不错的效果,涌现出了大量的论文,等以后看完再写~~
短语结构和依存结构关系:
短语结构树可以被一一对应地转化成依存关系树,反过来则不然,因为一棵依存关系树可能对应多个短语结构树。转化方法可以通过如下实现:
- 定义中心词抽取规则,产生中心词表;
- 根据中心词表,为句法树中每个结点选择中心子结点;
- 同一层内将非中心子结点的中心词依存到中心子结点的中心词上,下一层的中心词依存到上一层的中心词上,从而得到相应的依存结构。
推荐工具:
- StanfordCoreNLP:斯坦福的,提供依存句法分析功能。
Github地址:https://github.com/Lynten/stanford-corenlp
官网:https://stanfordnlp.github.io/CoreNLP/ - Berkeley Parser:伯克利大学nlp组开源的工具。提供英文的句法分析功能。
官方地址:http://nlp.cs.berkeley.edu/software.shtml - SpaCy:工业级的自然语言处理工具,遗憾的是不支持中文。
Gihub地址:https://github.com/explosion/spaCy
官网:https://spacy.io/
自然语言处理基础技术之成分句法分析相关推荐
- 自然语言处理基础技术之语义角色标注
今天是总结nlp基础技术的最后一篇,后面开始工具实战篇,我觉得实践对新手小白入门是相当有帮助的~~ #语义角色标注定义: 维基百科定义:Semantic role labeling, sometime ...
- python 分词字典的词性_自然语言处理基础技术之分词、向量化、词性标注
欢迎大家前往腾讯云社区,获取更多腾讯海量技术实践干货哦~ 作者:段石石 前言 前段时间,因为项目需求, 开始接触了NLP,有感自己不是科班出身,很多东西理解不深,于是花时间再读了一些NLP的经典教程的 ...
- 自然语言处理基础技术工具篇之Flair
Flair简介 Flair是最近开源的一个基于Pytorch的NLP框架,据官方github介绍,它具有以下特点: 一个功能强大的NLP库. Flair允许您将最先进的自然语言处理(NLP)模型应用于 ...
- 自然语言处理基础技术之词性标注
声明:转载请注明出处,谢谢:https://blog.csdn.net/m0_37306360/article/details/84502176 另外,更多实时更新的个人学习笔记分享,请关注: 知乎: ...
- 《自然语言处理:基于预训练模型的方法》读书笔记:第2章 自然语言处理基础
目录 第2章 自然语言处理基础 2.1 文本的表示 2.1.1 词的独热表示 2.1.2 词的分布式表示 2.1.3 词嵌入表示 2.1.4 文本的词袋表示 2.2 自然语言处理任务 2.2.1 语言 ...
- NLP【自然语言处理】技术路线
自然语言处理 NLP 1. 数学基础.................................................................................. ...
- 一文读懂人工智能产业链:基础技术、人工智能技术及人工智能应用
原文:https://blog.csdn.net/zhangbijun1230/article/details/82183281 概要:针对人工智能产业链,主要有三个核心:基础技术.人工智能技术及人工 ...
- 人工智能(8)---一文读懂人工智能产业链:基础技术、人工智能技术及人工智能应用
一文读懂人工智能产业链:基础技术.人工智能技术及人工智能应用 概要:针对人工智能产业链,主要有三个核心:基础技术.人工智能技术及人工智能应用,本文将从主要从这三个方面进行梳理 人工智能(Artific ...
- 万物互联大时代,物联网的基础技术有哪些?
联网是当今时代的大热词,物联网.大数据.云计算.一浪高过一浪,物联网虽然大家众所周知,但是,物联网相关的技术,大家却是一知半解,在这里主要讲述的是物联网的基础技术. 物联网基础技术: 1.互联网技术, ...
- 《阿里云天池大赛赛题解析(深度学习篇)》学习笔记(1)自然语言处理基础
自然语言处理基础 Natural Language Processing,NLP. 主要任务包括自然语言理解Natural Language Understanding,NLU和自然语言生成Natur ...
最新文章
- 博客园上海俱乐部Windows 7社区发布活动的奖品
- 本文把TCP/IP讲绝了!
- 迭代器: isinstance
- Web安全测试之XSS
- 50: Luogu P4568 分层图
- 面试:InnoDB 并发控制
- 2018 前端开发框架对比
- 李彦宏:AI 企业要保护隐私;罗永浩回应酷派“欠钱不还”;ofo 郑州公司人去楼空 | 极客头条...
- maya多象限uv不显示_CG制作软件这么多,你都会哪些?
- 动态代理的两种方式_一文帮你掌握Java中的动态代理
- 与孩子一起学编程14章
- 计算机组成原理 实验报告
- 定时任务corn表达式设置
- 操作系统期末考试重点知识
- MMCODE 1003: 小谭变美日记(c++)
- Python 构建 Random Forest 和 XGBoost
- android graphics2d,Graphics2D的drawString之不带颜色的字体
- oracle ocp认证真题,【每日一练】Oracle OCP认证考试题库解析052-1
- composer install 中出现用户名密码错误问题的解决方法
- 用Python 画小猪佩奇