最近在做序列标注的相关任务,为了理解bi-lstm + crf的原理及细节,找了很多相关资料,以及代码实现,这里分享给大家并附上一些自己的理解。

CRF

相关资料推荐

关于crf,我看了很多资料,这里推荐几个 - 英文的crf tutorial - 李航的统计学习方法 这两个讲的很细,公式很多,很多新入坑的小白看了肯定一头雾水,这里推荐一个知乎大神的回答,通俗易懂,有一些机器学习基础的都可以看懂。 - 知乎Scofield的回答

简单总结

这里我简单总结一下,以命名实体识别任务举例,我们有这样一组已标注的数据,B表示一个实体的开头,I表示当前词为命名实体的后面部分,O表示不是命名实体。

the(B) wall(I) street(I) journal(I) reported(O) today(O) that(O) apple(B) corporation(I) made(O) money(O)

很明显"the wall street journal"(华尔街日报)、"apple corporation"(苹果公司)为命名实体。

如果我们有这样一组已标注的数据

每个 x_i 是输入序列,y_i为一个标注序列

我们的目标是学习出一组条件概率分布模型, 即找到一组参数 theta

使得

bert pytorch 序列标注_序列标注:Bi-LSTM + CRF相关推荐

  1. python 语料标注_语料标注工具(3)

    今天再详细介绍一下Prodigy工具和YEDDA工具. Prodigy工具 支持实体标注,分类标注,情感标注,但是都是英文的.有一个基于Prodigy的中文github项目.Prodigy官方项目地址 ...

  2. bert pytorch源码_【PyTorch】梯度爆炸、loss在反向传播变为nan

    点击上方"MLNLP",选择"星标"公众号 重磅干货,第一时间送达 作者丨CV路上一名研究僧 知乎专栏丨深度图像与视频增强 地址丨https://zhuanla ...

  3. python序列操作_序列操作

    [TOC] # 序列操作 ## all:**判断可迭代对象的每个元素是否都为True值** ~~~ >>> all([1,2]) #列表中每个元素逻辑值均为True,返回True T ...

  4. python计算召回率_序列标注的准确率和召回率计算

    最近在用BiLSTM+CRF做命名实体识别问题.关于模型效果评估,很多提到用conlleval.pl来实现,conlleval.pl是perl语言写的,原谅我没看懂.最后还是决定自己写个程序算一算准确 ...

  5. python计算召回率代码_序列标注的准确率和召回率计算

    最近在用BiLSTM+CRF做命名实体识别问题.关于模型效果评估,很多提到用conlleval.pl来实现,conlleval.pl是perl语言写的,原谅我没看懂.最后还是决定自己写个程序算一算准确 ...

  6. NLP-基础任务-中文分词算法(3)-基于字:基于序列标注的分词算法【BiLSTM+CRF】

    CRF:条件随机场,一种机器学习技术.给定一组输入随机变量条件下,另一组输出随机变量的条件概率分布模型. 以一组词性标注为例,给定输入X={我,喜欢,学习},那么输出为Y={名词,动词,名词}的概率应 ...

  7. NLP 笔记: 序列标注与BIO标注

    1 序列标注 序列标注(Sequence labeling)NLP问题中的基本问题.在序列标注中,我们想对一个序列的每一个元素标注一个标签.一般来说,一个序列指的是一个句子,而一个元素指的是句子中的一 ...

  8. 序列标注的BIO标注体系

    1.什么是序列标注 输入和输出都是序列 输入和输出序列是一一对应的 是一种结构化的分类,分类问题的一种推广 输出序列用的是BIO标注体系 序列标注是NLP中最基础的任务,应用十分广泛,如分词.词性标注 ...

  9. paddle 图标注_基于DGCNN和概率图的轻量级信息抽取模型

    作者丨苏剑林 单位丨追一科技 研究方向丨NLP,神经网络 个人主页丨kexue.fm 前几个月,百度举办了"2019语言与智能技术竞赛" [1],其中有三个赛道,而我对其中的&qu ...

最新文章

  1. Yii中Action详解
  2. 【面试招聘】去不了大厂实习,小厂实习去吗?
  3. Orleans 高级特性-目录
  4. 拼多多4.5元手表使用功能图
  5. SAP Spartacus category navigation按钮之间的间隔问题
  6. 剑指Offer - 面试题50. 第一个只出现一次的字符(unordered_map)
  7. day30,网络编程和各种协议
  8. input框保持两位小数
  9. ASP.NET AJAX入门系列(5):使用UpdatePanel控件(二)
  10. 《软件需求》学习笔记
  11. 树链剖分之点剖分(点分治)讲解
  12. HackTheGame 攻略 - 第九关
  13. 科研神器----数据提取软件WebPlotDigitizer的使用
  14. 微波工程(1)——电磁理论
  15. FICO配置详解之三:固定资产会计配置
  16. 【宣讲会感言】腾讯实习生
  17. 【多媒体基础知识】 --- 什么是流媒体技术
  18. Libero逻辑分析仪的使用(基本篇)
  19. 八篇深度学习的开山巨作
  20. lhgdialog的弹出框操作

热门文章

  1. Idea 封装Java代码片段 快速提示
  2. 实验15 安装新的int 9中断例程
  3. 【OS学习笔记】十一 实模式:中断-软中断和硬中断基本原理
  4. 大数据和后端学习知识体系思维导图
  5. java ReentrantLock 使用
  6. MYSQL 在当前时间加上或减去一个时间段
  7. 【BZOJ2908】又是nand 树链剖分+线段树
  8. 学习曾国藩,学做人做事学技术
  9. 登录注册实现(服务器数据)
  10. 2016.03.04,英语,《Vocabulary Builder》Unit 04