统计自然语言处理梳理二:句法分析
进行统计自然语言处理系统梳理,学习资料《统计自然语言处理.宗成庆》。
一、概述
句法分析是自然语言处理技术中的关键技术之一,其基本任务是确定句子的句法结构或句子中词汇之间的依存关系。
句法分析分为句法结构分析和依存关系分析。
句法结构分析又称成分结构分析或短语结构分析,其又分为二种。以获取整个句子的句法结构为目的分析称为完全句法分析或完全短语结构分析。以获得局部成分(如基本名词短语)为目的的分析称为局部分析或浅层分析。
依存关系分析又称为依存句法分析或依存结构分析。
二、句法结构分析
2.1句法分析概述
句法分析是指对输入的单词序列判断其构成是否合乎给定的语法,分析出合乎语法的兔子的句法结构。句法结构一般用树状数据结构表示,通常称为句法分析树。
句法结构分析一般有三个任务:1,判断输入的字符串是否属于某种语言;2,消除句子中的词法和结构方面的歧义;3,分析句子内部结构,如成分构成,上下文关系。
句法分析一般需要考虑三个方面的工作:语法的形式化表示,词条信息的描述,分析算法的设计。其中语法的形式化表示着重了解上下文无关方法。
句法分析方法可以简单分析基于规则和基于统计的。
句法分析树的形成方法可以分为三类:自顶向下,自底向上,二者结合。
2.2完全句法分析
主要是了解基于概率的上下文无关文法分析。
2.3浅层句法分析
浅层句法分析的定位。完全句法分析要求通过一系列的分析过程,最终得到句子的完整句法分析树,而浅层句法分析只要求识别句子中某些结构相对简单的独立成分。例如:非递归的名词短语和动词短语。这些短语称为语块。
浅层句法分析有二个主要任务:1,语块边界分析;2,语块之间的关系分析。前者为主要任务.
这块重点是了解基于SVM/CRF的基本名词性短语分析.
三、依存语法分析
这块主要是了解些句法依存分析的基本概念.
用词与词之间的关系来描述语言结构的框架称为依存语法,又称从属关系语法.
在依存语法理论中,"依存"是词与词之间支配与被支配的关系,这种关系不是对等的,而是有方向的.处于支配的称为支配者,被支配的称从属者.
依存句法分析结构图常用的有三种:有向图,依存树,依存投射树.
依存句法并没有对依存关系进行分类,但在实际应用中,一般会给树的结点和边添加信息:边的信息有句法功能,语言角色;边的信息有词本身,词条,词性标注,形态特点等.
计算语言学家J.Robinson提出了依存语法的四条公理:1,一个句子只有一个独立的成分;2,句子的其他成分都从属于某一成分;任何一个成分都不能依赖于二个或二个以上的成分;4,如果A直接从属于B,C位于A/B之间,则C从属A或B或AB之间的某一成分.
我国学者冯志伟提出了依存结构树就满足5个条件:1,单纯结点条件,只有终结点,没有非终结点;2,单一父结点条件,除根结点外,其他结点都有父结点;3,独根结点条件,一个依存树只能有一个根结点;4,非交条件,依存树的树枝不能彼此相交;5,互斥条件,从上到下的支配关系和从左到右的前于关系是相互排斥的,二个结点间存在支配关系,就不能存在前于关系。
统计自然语言处理梳理二:句法分析相关推荐
- 统计自然语言处理梳理四:篇章分析
进行统计自然语言处理系统梳理,学习资料<统计自然语言处理.宗成庆> 篇章分析的最终目标是从整体上理解篇章,最重要的任务是分析篇章结构.篇章结构包括:语义结构,话题结构,指代结构等. 一.基 ...
- 《统计自然语言处理》读书笔记 一.基础知识及概念介绍
最近准备学习自然语言处理相关的知识,主要参考<统计自然语言处理·宗成庆>和<Natural Language Processing with Python>,推荐大家阅读.第一 ...
- 统计自然语言学习笔记(Manning):第1章
人们总在创造新的语法规则,因而基于规则的方法来处理自然语言的并不能适用.因此我们不是通过规则来判断句子是不是合乎语法,而是解决:语言使用中通常出现的是什么形式.用来识别这些模式的主要工具是计数,就是统 ...
- 深度学习与自然语言处理教程(9) - 句法分析与树形递归神经网络(NLP通关指南·完结)
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/36 本文地址:https://www.showmeai.tech/article-d ...
- 统计自然语言处理笔记
前言 学习技术离不开经典技术材料,目前深度学习的自然语言处理如火如荼,了解一下之前的统计自然语言处理也是很有必要的. 课程介绍 男,1970年生,黑龙江省宁安市人.博士,教授,博士生导师.AAAS会员 ...
- 统计自然语言处理基础(一)
基础认知 语言学的目的是为了能够描述和解释我们周围的语言现象. 人们对在自然语言处理中使用统计方法抱有的热情,在很大程度上是 因为他们看到了统计方法在解决实际问题时的前景,而这些问题正是传统方法无法解 ...
- 自然语言处理(二)——乔姆斯基4型文法
一.正则文法(3型) 定义:如果文法 G=(N, Σ, P, S) 的 P 中的规则满足如下形式:A → B x(这里注意B只是一个形式,代表非终结符),或 A → x,其中 A, B ∈ N,x ∈ ...
- c语言 统计已初始化的二维数组a[3][4]中非零元素的个数(用指针实现)
统计已初始化的二维数组a[3][4]中非零元素的个数(用指针实现) [输入输出示例] 1 0 2 3↙ 2 3 0 4↙ 0 1 0 2↙ nonezero=8 ` #include<stdio ...
- 深度学习与自然语言处理教程(4) - 句法分析与依存解析(NLP通关指南·完结)
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/36 本文地址:https://www.showmeai.tech/article-d ...
最新文章
- WinForm 实现验证码
- Confluence 6 使用一个页面为站点的默认页面
- 释疑の采购订单的批量修改
- Zabbix分布式监控(zabbix-proxy)的配置关键点
- Node.js下载安装及各种npm、cnpm、nvm、nrm配置(保姆式教程—提供全套安装包)—nrm的安装与配置(5)
- java简化代码的jar_JAVA奇技淫巧简化代码之lombok
- 第八届蓝桥杯java b组第十题
- springboot交通事故档案管理系统答辩PPT免费下载
- Jenkins 持续集成CICD
- 基于ENVI的Landsat 7影像处理与多种大气校正方法对比
- Excel自动获取单词音标词义
- OL3+中链家地图找房功能实现
- Tuxera NTFS2022产品密钥 mac读取ntfs格式驱动程序
- Word设置标题以及自动编号——保姆级教程
- 互联网公司招聘--人人网--产品岗-2015年笔试题
- checkbox全选、清除、反选
- 解码M3U8在线流视频AES-128解密TS合并到MP4
- 颈椎病的康复锻炼方法
- mybatis表不存在的解决办法
- 百度地图离线开发需求介绍
热门文章
- 视觉SLAM入门 -- 学习笔记 - Part3
- 互联网日报 | 4月26日 星期一 | 快手二次元日活跃用户突破1亿;小米全球范围内专利达1.9万件;艺龙酒店首家旗舰店在沪开业
- IOS 自动订阅以及恢复购买
- 服务器系统总是蓝屏,Windows 2012R2 服务器频繁蓝屏
- vue中echarts纵轴添加点击事件
- Android平板app开发布局文件,Android平板开发相关
- Spark源码环境问题
- 大数据智能算法及测评技术(二)
- ROS(11)move_base详解
- Process finished with exit code 1Class not found: