NLP学习笔记「第二章」2.2 N-gram Language Models(N元语言模型)

2024-05-19 16:04:24

Language Model

words
phrase
sentence

2.2.1 Unigram Language Models

某个词出现的概率来估计一句话出现的概率

互不相干的独立同分布的词

概率相乘

参数就是词的概率

简单模型的问题：

训练集没有见过的词，出现的概率为0 ->未登录词（out-of-vocabulary）

OOV词虽然有，但是相对频率是0.概率参数也是0，结果也是0
- 解决：平滑（smoothing）每一个词的数量至少为1 add 1 smoothing
- Add-α Smoothing
  
  超参数：模型训练之前一般就设置好了，不参与模型训练的过程，或者根据模型训练选择的

2.2.2 Bigram Language Models

使用两个连续的单元来计算一句话出现的概率

二元语言模型参数化的过程中，计算了一个条件概率，给定 w1和w2概率（前面词和后面词）w1的概率，以及w1发生条件下的w2的概率，估算方法同样是最大似然估算。

Reducing sparsity

和随机抽取一个词相比，训练集里面没有出现二元组的几率会更高，也叫稀疏性

缓解稀疏性的方法

Back-off 回退

一个二元组的条件概率可以计算一个回退版本，是原先未经回退的二元组的概率和w2的概率的线性差值原来的二元组给定w1,2的概率和一元组w

2之间有一个lambda 系数，可以在0,1取值作为一个超参数，调节回退的程度。

假如说w1,2在训练集中没有见过，那么我们回退概率，就（1-lambda）*P(w2)来代表

如果见过，就是下图公式中的概率

Calculating the probability of a sentence(计算一句话的概率)

为了方便计算，在句首句尾分别以S 和/S来标注。一句话的概率如下：

一句话拆成了互相交叠的二元组，背后运用的参数化概率模型常用技巧

链式法则 Chain rule

联合概率的计算分解成一组条件概率的乘积，可以由联合概率的范式图推导出来

条件无关假设 Condition independence

简化链式法则，我们认为一个词出现的概率只与前面的一个词出现有关。与其他词无关
结果 Result

NLP学习笔记「第二章」2.2 N-gram Language Models(N元语言模型)相关推荐

机器学习理论《统计学习方法》学习笔记：第二章感知机
<统计学习方法>学习笔记:第二章感知机 2 感知机 2.1 感知机模型 2.2 感知机学习策略 2.2.1 数据的线性可分性 2.2.2 感知机学习策略 2.3 感知机学习算法 2.3. ...
计算机网络学习笔记：第二章
文章目录计算机网络学习笔记:第二章前言 2.1.应用层协议原理 2.1.1 网络应用程序体系结构 2.1.2 进程通信 2.1.3 可供应用程序使用的运输服务 2.1.4 因特网提供的传输层服务 ...
2021-08-31《内网安全攻防》学习笔记，第二章-域内信息收集（转自PowerLiu）
<内网安全攻防>学习笔记,第二章-域内信息收集 2020-07-212020-07-21 15:08:47阅读 1.1K0 2.1 内网信息搜集概述当渗透测试人员进入内网后,面对的是一片 ...
Python快速编程入门#学习笔记03# |第二章：Python基础（代码格式、标识符关键字、变量和数据类型、数字类型以及运算符）
全文目录 ==先导知识== 学习目标: 2.1 代码格式 2.1.1 注释 2.1.2 缩进 2.1.3 语句换行 2.2 标识符和关键字 2.2.1 标识符 2.2.2 关键字 2.3 变量和数据类 ...
（Java零基础学习笔记）第二章 Java中的基本语法
前言: 大家好! 我是BA unravel .如果你想和我一起学习JAVA,欢迎大家一起来学习这个世界上最好的语言! 学习目标: 一周掌握 Java 入门知识学习内容: 1. 搭建 Java 开发环 ...
【Go Web学习笔记】第二章 HTTP的客户端实现
前言:大家好,以下所有内容都是我学习韩茹老师的教程时所整理的笔记.部分内容有过删改, 推荐大家去看原作者的文档进行学习, 本文章仅作为个人的学习笔记,后续还会在此基础上不断修改.学习Go Web时应该 ...
《自然语言处理（哈工大关毅 64集视频）》学习笔记：第二章数学基础与语言学基础
前言关毅老师,现为哈工大计算机学院语言技术中心教授,博士生导师.通过认真学习了<自然语言处理(哈工大关毅 64集视频)>1(来自互联网)的课程,受益良多,在此感谢关毅老师的辛勤工作!为 ...
信息安全工程师学习笔记《第二章》
第二章:网络攻击原理与常用方法本章首先讲述网络攻击相关概念,总结网络攻击的技术特点.发展趋势和网络攻击的一般过程:然后系统的给出了网络攻击的常见技术方法和黑客常用工具:最后分析了分布式拒绝服务攻击. ...
爬虫学习笔记（第二章）requests模块
文章目录前言第二章 request模块简介实战编码 ①爬取搜狗首页的页面数据实战巩固 ②网页采集器 UA ③破解百度翻译 ④豆瓣电影爬取 ⑤肯德基餐厅位置爬取 ⑥药监总局相关数据爬取前言 ...

最新文章

热门文章