【DeepDive Tutorial 】Extracting mentions of spouses from the news

一、数据处理
1.1、 Loading raw input data

下载数据

//将数据下载到 /input 文件夹下
bash <(curl -fsSL git.io/getdeepdive) spouse_example// 或者使用如下指令下载
bash deepdive load articles input/articles-1000.tsv.bz2

为这些数据在 app.ddlog 声明一个表格

articles(id      text,content text
).

using the input/articles.tsv.sh script，运行，创建表，然后获取和加载数据，将input文件中的对应的文件导入postgresql数据库中

//建立链接（第一个参数为数据文件）
ln -s articles-1000.tsv.bz2 input/articles.tsv.bz2// 执行脚本，同时会下载 Stanford's CoreNLP
deepdive do articles

// 查看是否导入成功，该指令会显示所匹配的字段
deepdive query '?- articles(id, _).'

1.2. Adding NLP markups
使用 Stanford’s CoreNLP 进行归一化词形、词性标注、命名实体识别、依存句法分析等工作。

现在来声明 output schema 结构。


// In DDlog // ----------------------------- sentences(doc_id         text,sentence_index int,sentence_text  text,tokens         text[],lemmas         text[],pos_tags       text[],ner_tags       text[],doc_offsets    int[],dep_types      text[],dep_tokens     int[] ).

使用 nlp_markup.sh 来调用封装好的 CoreNLP，CoreNLP 库需要Java 8 支持。

# In DDlog
#-----------------------------
function nlp_markup over (doc_id  text,content text) returns rows like sentencesimplementation "udf/nlp_markup.sh" handles tsv lines.

最后，指定 nlp_markup 函数在文章中的每一行都运行，并将输出的追加到 sentences 中

// In DDlog
// -----------------------------
sentences += nlp_markup(doc_id, content) :-articles(doc_id, content).

Again, to execute, we compile and then run （每当 DDlog 内容被改变，都要重新编译）:

deepdive compiledeepdive do sentences

此时进行查看，将有 tokens and NER tags

deepdive query 'doc_id, index, tokens, ner_tags | 5?- sentences(doc_id, index, text, tokens, lemmas, pos_tags, ner_tags, _, _, _).
'

【DeepDive Tutorial 】Extracting mentions of spouses from the news相关推荐

【Unity/Tutorial】官方AircraftJetAI(四)喷射机首飞
目录说在前面系列目录相关函数移动喷射机添加刚体/BoxCollier组件控制器脚本用户控制脚本飞行录像说在前面 Unity版本:2017.4.37 资源下载:这个资源是官方自带的资源 ...
【Java Tutorial中文版开篇综述】 Oracle（甲骨文）公司Java最新官方教程【译文】
(新出的目录功能我也不太会弄,本来只有4个子目录的,不知道系统怎么默认成10多个了,会挑目录的麻烦评论留言指导. ) Java Tutorial 此篇为[Java Tutorial]系列开篇综述.Ja ...
github(desktop)使用教程（三）【保姆级】{desktop tutorial repository,创建分支，编辑文件，保存修改，commit，publish to github}
此篇详解如何用github desktop创建一个仓库首先点击creat a tutorial(指导性的) repository 成功后的界面(这里我试过几次才成功,如果出现问题就仔细阅读错误提示 ...
【C++基础】【集成编译环境01】Clion的C++编译环境和Boost Test Framworks框架运行实践
本文项目源码链接: CLionboostunittestframeworks项目源码-C++文档类资源-CSDN文库前言和行文思路: VScode.Clion.Pycharm都是集成环境的编辑器,他 ...
2006年上半年网络工程师上下午试卷【附带答案】
2004-2017年真题+答案[0.23RMB]自取 2006年上半年网络工程师上午试卷 ● 高速缓存Cache与主存间采用全相联的地址影像方式,高速缓存的容量为4MB,分为4块,每块1MB,主存 ...
【Android 逆向】ART 脱壳 ( DexClassLoader 脱壳 | oat_file_assistant.cc 中涉及的 oat 文件生成流程 )
文章目录前言一.dalvik_system_DexFile.cc#DexFile_openDexFileNative 函数分析二.oat_file_manager.cc#OpenDexFiles ...
【面向代码】学习 Deep Learning Convolution Neural Network(CNN)
转载自: [面向代码]学习 Deep Learning(三)Convolution Neural Network(CNN) - DarkScope从这里开始 - 博客频道 - CSDN.NET htt ...
【信息抽取】NLP中关系抽取的概念，发展及其展望
事物.概念之间的关系是人类知识中非常重要的一个部分,但是他们通常隐藏在海量的非结构文本中.为了从文本中抽取这些关系事实,从早期的模式匹配到近年的神经网络,大量的研究在多年前就已经展开. 然而,随着互联 ...
【AI杂谈】从一篇参考文献比正文还长的文章，杂谈深度学习综述
欢迎来到专栏<AI杂谈>,顾名思义就是说一些比较杂的有意思的东西了,任何东西都有可能. 今天首先介绍一篇文章,2014年的一篇深度学习综述,<Deep learning in Neu ...

【DeepDive Tutorial 】Extracting mentions of spouses from the news

【DeepDive Tutorial 】Extracting mentions of spouses from the news相关推荐

最新文章

热门文章