deepdive的股权关系抽取实践

1、搭建项目框架并与数据库关联

运行命令：
psql postgres
CREATE DATABASE first OWNER leafccc;
echo “postgresql://leafccc@localhost:5432/first” >db.url

2、导入先验数据与文章

导入先验数据，在app.ddlog下编辑：

@source
transaction_dbdata(@keycompany1_name text,@keycompany2_name text
).

接着执行导入到postgres的命令：
(注意 1、每次更改app.ddlog都需要deepdive compile 2、执行完后输入：wq保存）

deepdive compile && deepdive do transaction_dbdata

查询一下：

deepdive query '?- transaction_dbdata(company1_name, company2_name).'

待抽取文章导入，将待抽取的文章articles_market.csv导入到postgres：
(注意文件改下名字或者自己将代码里文章文件名修改下，并且把文章中字句删除到只剩几十行)

@source
articles_market(id text,content text
).

再运行：

deepdive compile && deepdive do articles_market

查询一下：

deepdive query '?- articles_market(id, _).'

3、nlp模型进行文本处理

将以下输入app.ddlog文件中:

sentences(doc_id         text,sentence_index int,sentence_text  text,tokens         text[],lemmas         text[],pos_tags       text[],ner_tags       text[],doc_offsets    int[],dep_types      text[],dep_tokens     int[]
).function nlp_markup over(doc_id text,content text
) returns rows like sentences
implementation "udf/nlp_markup.sh" handles tsv lines.sentences+=nlp_markup(doc_id, content):-
articles_market(doc_id, content).

复制transaction/udf/的目录下的bazzar文件夹以及nlp_markup.sh文件到你自己项目的udf/中。这个模块需要重新编译。进入 bazzar/parser目录下，执行编译命令:

sbt/sbt stage

最后执行

deepdive compile && deepdive do sentences

执行成功之后，可以查看：

deepdive query '
doc_id, index, tokens, ner_tags
?- sentences(doc_id, index, text, tokens, lemmas, pos_tags, ner_tags, _, _, _).'

deepdive的股权关系抽取实践相关推荐

采用deepdive的上市公司关系抽取
准备项目目标在此设项目中,我们的目标是接受一组非结构化(或结构化)输入,并使用提取的输出填充关系数据库表,以及表示DeepDive对提取的置信度的每个提取的边际概率.更正式地说,我们编写一个Dee ...
关系抽取模型介绍和实践
关系抽取预知识和发展介绍事实知识: 三元组表示实体间关系关系抽取: 文本中蕴藏含着大量事实知识一个完整关系抽取系统通常包含以下模块: NER Entity Linking(避免重复添加到知识图谱 ...
关系抽取、时间抽取，实践项目推荐
GitHub 基线系统关系抽取 :https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/information_extrac ...
关系抽取调研-工业界
关系抽取调研--工业界目录 1. 任务 1.1. 任务定义 1.2. 数据集 1.3. 评测标准 2. 方法总结 2.1. 基于模板的方法 2.1.1. 基于触发词/字符串 2.1.2. 基于依存句 ...
直播预告 | 长文本知识抽取：基于语义分割的文档级三元组关系抽取
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
SemEval-2020自由文本关系抽取冠军方案解读（附NLP竞赛常用技巧总结）
本文将回顾平安人寿近期在PaperWeekly × Biendata直播间进行的主题为「SemEval-2020自由文本关系抽取冠军方案解读(附NLP竞赛常用技巧总结)」的技术分享,由平安人寿AI团队 ...
论文小综 | 文档级关系抽取方法（上）
本文作者: 陈想,浙江大学在读博士,研究方向为自然语言处理张宁豫,浙江大学助理研究员,研究方向为自然语言处理.知识表示与推理 1. 前言关系抽取(Relation Extraction, RE)是 ...
徐阿衡 | 知识抽取-实体及关系抽取(一)
本文转载自公众号:徐阿衡. 这一篇是关于知识抽取,整理并补充了上学时的两篇笔记 NLP笔记 - Information Extraction 和 NLP笔记 - Relation Extraction ...
论文阅读课1-Attention Guided Graph Convolutional Networks for Relation Extraction（关系抽取，图卷积,ACL2019，n元）
文章目录 abstract 1.introduction 1.1 dense connection+GCN 1.2 效果突出 1.3 contribution 2.Attention Guided G ...

deepdive的股权关系抽取实践

1、搭建项目框架并与数据库关联

2、导入先验数据与文章

3、nlp模型进行文本处理

deepdive的股权关系抽取实践相关推荐

最新文章

热门文章