最近在做文本的关系抽取,看了一篇论文(NRE论文总结:Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification):

没有找到论文源码,我就从github上找到这份脚本(来自“刘知远实验室”):

thunlp/OpenNRE
thunlp/OpenNRE

下面便开始了我艰辛的调试脚本之路

  1. 下数据,解压时候遇到了问题
    tar解压Unexpected EOF in archive错误
  2. tensorflow-gpu==1.4.1、anaconda2(python2)、linux环境下跑脚本
    原脚本要求:TensorFlow (>=1.4.1),所以我就想装1.4.1版本的tensorflow
    tensorflow指定版本的安装及升级到最新版
      pip install tensorflow-gpu==1.4.1

装完之后想使用,发现报错了:

libcudnn.so.6:cannot open shared object file:No such file or directory

然后我在anaconda的.bashrc文件里加了一行配置环境(cudnn-6.0),完美解决。

  1. tensorflow-cpu==1.2、anaconda3(python3)、window环境下跑脚本
    我还尝试了用tensorflow1.2+anaconda3(python3)版本的跑,报错如下:
    报错1:
AttributeError: module 'tensorflow' has no attribute 'AUTO_REUSE'

原因:tensorflow版本太低了,‘AUTO_REUSE’是1.4.0的语法。
修改:将encoder.pyselector.py里的reuse=tf.AUTO_REUSE都修改为reuse=True
没有跑通,就放假了,回老家啦~

国庆回来,刚想拾起上面的脚本仔细研读,发现作者更新了:新的脚本地址 ,我决定看新版本的脚本,因为代码量少了很多,很多,很多,如果你在看我写的学习笔记,建议上面的那些文字都不要看啦,只要看下面的就好啦~~

环境:anaconda2+tensorflow1.5+gpu+CUDA8.0

1.数据转化为json时,作者给的运行语句有些问题,应该用下面的语句:

python protobuf2json.py path(给一个路径)

2.执行:python train_demo.py nyt pcnn att时:
改报错1:'cmp' is an invalid keyword argument for this function
解决办法:
将~\OpenNRE-master\nrekit\data_loader.py中第260行的:

 self.ori_data.sort(cmp=compare_by_entities_and_relations)

改为:cmp报错的资料

from functools import cmp_to_key#这句放在脚本文件最开始的地方
self.ori_data.sort(key=cmp_to_key(compare_by_entities_and_relations))

改报错2:No such file or directory:'_processed_data\\data\\nyt\\~
**解决办法:**创建路径~\OpenNRE-master\_processed_data\data\nyt
改报错3:'dict' object has no attribute 'iteritems'
**解决办法:**将~\OpenNRE-master\nrekit\data_loader.py中第426、433行的iteritems变为items.
3.然后脚本就跑通啦
结果:PCNN+ATTENTION时,“刘知远实验室”给出的AUC是0.3408,我实验跑出来的结果是0.1514,AUC越接近1说明模型衡量分类的能力越好,也就是说关系抽取在目前来说,做出来的效果都很差。

先这样吧,脚本和论文都没时间研读啦,我要离开一段时间了,祝我一切都好!

“刘知远实验室”的关系抽取实验复现相关推荐

  1. 【每周NLP论文推荐】 掌握实体关系抽取必读的文章

    欢迎来到<每周NLP论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 实体关系抽取作为信息抽取领域的重要研究课题 ...

  2. 【知识图谱】关系抽取与总结展望

    关系抽取 实验介绍 实验原理 关系抽取任务 数据预处理 实验步骤 数据处理 构建网络模型 模型预测 总结展望 实际应用 结构化数据 知识推理 应用领域 参考文献 All Link 实验介绍 在上一节的 ...

  3. 信息抽取(四)【NLP论文复现】Multi-head Selection和Deep Biaffine Attention在关系抽取中的实现和效果

    Multi-head Selection和Deep Biaffine Attention在关系抽取中的应用 前言 Multi-head Selection 一.Joint entity recogni ...

  4. 信息抽取(二)花了一个星期走了无数条弯路终于用TF复现了苏神的《Bert三元关系抽取模型》,我到底悟到了什么?

    信息抽取(二)花了一个星期走了无数条弯路终于用TF复现了苏神的<Bert三元关系抽取>模型,我到底悟到了什么? 前言 数据格式与任务目标 模型整体思路 复现代码 数据处理 数据读取 训练数 ...

  5. 开源中文关系抽取框架,来自浙大知识引擎实验室

    向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程   公众号:datayx DeepKE DeepKE 是基于 Pytorch 的深度学习中文关系抽取处理套件. 环境依赖 ...

  6. 知识图谱从哪儿来?实体关系抽取的现状和未来

    12月17日晚,2019年清华特奖获得者之一,清华大学自然语言处理实验室大四本科生高天宇,在智源论坛Live第1期,以<实体关系抽取的现状和未来>为主题,与150位观众进行了在线交流.本文 ...

  7. 史上最大的实体关系抽取数据集!清华大学自然语言处理团队发布 FewRel...

    雷锋网 AI 科技评论按,在去年的 EMNLP2018 上,清华大学自然语言处理实验室发布了一个大规模精标注关系抽取数据集 FewRel.据了解,这是目前最大的精标注关系抽取数据集. 据清华大学自然语 ...

  8. opennre 中文关系抽取_OpenNRE 2.0:可一键运行的开源关系抽取工具包

    OpenNRE(https://github.com/thunlp/OpenNRE.git)是清华大学自然语言处理实验室推出的一款开源的神经网络关系抽取工具包,包括了多款常用的关系抽取模型,发布仅一年 ...

  9. “智源论坛Live”报名 | 清华大学高天宇:实体关系抽取的现状和未来

    报名请点击「阅读原文」 在线直播时间:12月17日19:30-20:30 "智源论坛Live"第1期 "智源论坛Live"是智源论坛系列活动之一,通过在线直播形 ...

最新文章

  1. 从门禁系统的使用体验看良好的交互设计原则
  2. 35.JVM 参数(JVM中的各种参数及含义、收集器相关、PrintGC等各种辅助参数)
  3. 牛客 - 交换(思维+找循环节)
  4. MongoDB 分析查询性能
  5. ORACLE DATAGURARD配置手记
  6. 学习索引结构的一些案例——Jeff Dean在SystemML会议上发布的论文(中)
  7. java包装类collection,java包装类的比较、hash和CollectionUtils交集原理探究
  8. Quartz CronTrigger最完整触发时间配置说明
  9. 飞桨2.0高层api教程——使用BERT实现自动写诗
  10. 14.React-router嵌套路由
  11. vue rsa加密 php解密,Vue项目中的RSA加解密
  12. 牢记这一波CAD快捷键,制图速度坐火箭!
  13. 很牛的求职历程和经验(二)
  14. 在c语言中1和0的意思,!1在c语言中是什么意思?
  15. zygote启动过程
  16. c语言程序设计植树,C语言程序设计100例之(19):欢乐的跳
  17. Invalid character found in method name. HTTP method names must be tokens
  18. 兼职python程序员_《兼》字意思读音、组词解释及笔画数 - 新华字典 - 911查询
  19. Allocation of XXXXXXXX exceeds 10% of system memory
  20. 三星s8刷机包android11版本,番茄花园ROM|三星S8 ROM|三星G9500 ROM

热门文章

  1. 一次性针头滤器-市场现状及未来发展趋势
  2. html添加用户与删除吗,HTML页面元素的添加与删除
  3. 实现QQ音乐项目的一些技术点jQuery,html5
  4. Typecho重大漏洞
  5. 通过一个测试项目了解EF CORE
  6. 薪酬 | 2020年 DBA薪资报告:你的待遇是否受到疫情影响?
  7. 51单片机的超声波测距系统【proteus仿真+程序+报告+原理图】
  8. 华为车BU机器学习算法工程师面试经验
  9. 华米Q3财报超预期,智能穿戴设备接替手机狂奔?
  10. 万能计算机作文,万能机器人作文9篇