NLP复习资料-第九章

  • 1.短语结构分析
  • 2.短语结构分析方法的评估指标
  • 3依存句法分析器设计P13
  • 4依存句法分析器性能评价
  • 5短语结构与依存结构能够相互转换
  • 6汉英句法结构对比
  • 7汉语长句的层次化句法分析

国科大,宗老师《自然语言处理》课程复习笔记,个人整理,仅供参考。

1.短语结构分析

(1)基于CFG规则的分析:没法解决歧义问题。

(2)基于PCFG的分析:能够解决歧义问题,但是概率计算条件过于苛刻)

(1.1)基于CFG规则的两种方法:线图分析法、CYK方法

线图分析法: P20例子掌握了就差不多了。词性序列作为线图的边,依据规则不断构成新的弧,弧的标记为规则的左边,弧连接的词性串为规则的右边。最后将弧转换成节点,节点转换成边,就能得到句法分析树。P30(时间复杂度为Kn3Kn^3Kn3)

CYK方法: P49的例子,(识别矩阵上的操作)识别矩阵的主对角线上是词语,次对角线上是对应的词性标注,再次对角线上是依据规则约规的规则左端标记,直至,最有上角的位置标记为S,由识别矩阵就可以构造句法分析树。

(1.2)基于PCFG的分析:概率上下文无关文法

在上下文无关文法的基础上,每一条文法都有一定的出现概率,那么利用这些规则转换而成的句法分析树每个节点周围都会带有概率标记,通过概率规则,计算整棵树的概率(实际上是所有概率连乘),概率最大的树为最有可能的分析树。由于最大概率的挑选准则,使得PCFG可以克服歧义问题,但是概率模型太依靠于语料库。P64句法分析树概率计算

PCFG的三个问题(和HMM模型有的一拼)P73:
->快速计算P(W|G):内向算法:递归的算法(不会考算法吧)
->选择最佳句法结构树:viterbi算法:viterbi变量对应的最大概率,
->调整G使得P(W|G)最大:巴拉巴拉,我觉的不用记吧

基于PCFG的语法分析实例:
在CYK的基础上多了每个小格子多了概率标记,最后可以计算句法分析树的概率P103

2.短语结构分析方法的评估指标

P125精度、召回率、f-measure、P127交叉括号数(最好记一下)

P132 页的交叉括号数为0,交叉括号的的准确率为100% (不甚理解)

3依存句法分析器设计P13

2.1依存句法结构描述—有向图、依存树

2.2 分析算法:
生成式分析方法:score(x,y|参数)找打打分最高的结果作为分析结果
判别式分析方法:最大生成树模型,加权和分值最高的边的组合
决策式分析方法:移进-约归算法,arc-eager算法:左弧、右弧、移动、约归、P33实现一个句法分析器:在每个状态下依据特征决定下一步该采取的行动。通过标记数据集合得到特征集合,构造动作分析器,就是记录一系列上下文转换情况,在应用时,查找转换规则即可。

4依存句法分析器性能评价

无标记正确率(支配关系写对就行,分母是输出句子的分词数目)

带标记正确率(支配关系和支配类型都得对,分母是输出句子的分词数目)

依存正确率(不带根节点的正确率,分母是输出句子的分词数目-根的数目)

根正确率(正确根数/句子数)

完全匹配率(正确根的句子/总句子)

5短语结构与依存结构能够相互转换

短语->依存P52(中心词抽取规则,产生中心此表-)每个节点中心词抽取->非中心节点依存到中心节点上)

6汉英句法结构对比

P59至少记住两个吧

汉语功能词少;
汉语右部为中心,英语左部为中心;
汉语中省略主语的请款经常存在(他认为()是正确的)

7汉语长句的层次化句法分析

(p66分割句子-子句句法分析-分析子句之间的关系-最终得到整个句子的最大概率分析树)

NLP复习资料(5)-第九章 句法分析相关推荐

  1. NLP复习资料(4)-第八章 句法分析

    NLP复习资料-第八章 国科大,宗老师<自然语言处理>课程复习笔记,个人整理,仅供参考. 第八章:语法理论(第三章的后续) 1.出发点chomsky的四类文法过于泛化,生成能力太强了,会生 ...

  2. NLP复习资料(2)-三~五章:形式语言、语料库、语言模型

    NLP复习资料-三~五章 1.第三章:形式语言 2.第四章:语料库 3.第五章:语言模型 国科大,宗老师<自然语言处理>课程复习笔记,个人整理,仅供参考. 1.第三章:形式语言 1.语言描 ...

  3. NLP复习资料(3)-六~七章:马尔科夫模型与条件随机场、词法分析与词性标注

    NLP复习资料 1.第六章 马尔科夫模型与条件随机场 2.第七章 词法分析与词性标注 国科大,宗老师<自然语言处理>课程复习笔记,个人整理,仅供参考. 1.第六章 马尔科夫模型与条件随机场 ...

  4. NLP复习资料(6)-第十章 语义分析

    NLP复习资料-第十章 1语义理论简介 2格语法 4语义网络 5词义消歧 5语义角色标注 6词向量表示 7篇章分析 国科大,宗老师<自然语言处理>课程复习笔记,个人整理,仅供参考. 语义分 ...

  5. NLP复习资料(8)-知识图谱、信息抽取

    NLP复习资料 第16讲-知识图谱 第17讲-信息抽取(知识图谱生命周期中信息获取的关键技术) 国科大,宗老师<自然语言处理>课程复习笔记,个人整理,仅供参考. 第16讲-知识图谱 知识图 ...

  6. NLP复习资料(7)-机器翻译、文本分类、情感分析

    NLP复习资料 国科大,宗老师<自然语言处理>课程复习笔记,个人整理,仅供参考. 此部分为手稿,高清图下载见链接:https://download.csdn.net/download/si ...

  7. NLP复习资料(1)-绪论、数学基础

    NLP复习资料-绪论.数学基础 1.绪论 2.数学基础 2.1信息论基础: 2.2应用实例:词汇消歧 国科大,宗老师<自然语言处理>课程复习笔记,个人整理,仅供参考. 1.绪论 1. 语言 ...

  8. gd32f303 设计中断优先级_ALIENTEK 阿波罗 STM32F767 开发板资料连载第九章 外部中断实验...

    1)实验平台:alientek 阿波罗 STM32F767 开发板2)摘自<STM32F7 开发指南(HAL 库版)>关注官方微信号公众号,获取更多资料:正点原子 第九章 外部中断实验 这 ...

  9. 自考第一章计算机基础知识,2018年自考计算机网络技术基础复习资料:第一章...

    第一章 计算机基础知识 电子计算机的发展阶段分为: 1 第一代电子计算机.用电子管.以构成计算机的电子器件来1946年第一台电子计算机. 2 第二代电子计算机的特点是用晶体管. 3 第三代电子计算机的 ...

最新文章

  1. 【Android UI】theme style
  2. no awt in java.libary.path
  3. abbyy在使用时提示更改分辨率如何处理
  4. MySQL 迁移到半同步模式
  5. 小说的逻辑与反逻辑_以理性的数学逻辑构筑推理小说
  6. 简单干净的C#方法设计案例:SFCUI.AjaxLoadPage()之一
  7. 加密芯片——RSA算法特点与应用注意事项
  8. java测试步骤_java测试框架的方法
  9. AcWing 4241. 货物运输
  10. 解决XAMPP和VMware端口占用冲突
  11. 如何在Mac上设置语音整点报时
  12. python将xml写入excel_Python实现将xml导入至excel
  13. 社区发现算法——Louvain 算法
  14. 进销存mysql数据库_进销存管理系统数据库设计
  15. 计算机智能科学与技术高校排名,2021年全国智能科学与技术专业大学排名(原创)...
  16. 惠普电脑u盘重装系统步骤_惠普笔记本系统重装|惠普笔记本电脑U盘重装系统步骤教程...
  17. 天池-小布助手对话短文本语义匹配 复赛rank3、决赛rank4代码及解决方案
  18. Ubuntu查询MAC地址,硬盘个数和类型,序列号,CPU数量,命令行查询网卡速率
  19. Vue 富文本wangEditor3 (自动保存 快捷保存 激活工具栏...
  20. Springboot+基于微信小程序的电器商城系统的设计与实现 毕业设计-附源码251453

热门文章

  1. php设计模式的作用是什么意思,php设计模式工厂模式有什么作用?
  2. 小程序分享到朋友圈_如何给小程序添加分享朋友圈
  3. mysql中索引约束有哪些_Mysql中索引和约束的示例语句
  4. 遇见王沥川的人生感悟_23岁酱油泡饭默默无闻,31岁逆袭人生,王彦霖有何魅力?...
  5. MySQL——数据库和表的增删改查
  6. excel办公常用的宏_让领导看傻!精美168套办公常用excel模板免费领
  7. 【转】RabbitMQ六种队列模式-5.主题模式
  8. 【转】RabbitMQ六种队列模式-3.发布订阅模式
  9. 【转】1.9 Asp.Net Core 轻松学-多线程之取消令牌(
  10. 软件工程 – 开发模型