使用R进行pubmed爬虫

工具

RISmed(library)
中文社区居然没有他的介绍让我匪夷所思,于是乎我做一个简易的介绍吧.

安装

install.packages('RISmed')

使用

library(RISmed)

首先我们要定义一个搜索的tag:

search_tags = 'sleep'

然后就可以十分暴力的调用函数了:

EUtilsSummary

Usage
EUtilsSummary(query,type="esearch",db="pubmed",url=NULL,encoding="unknown",...)
Arguments
query
string query as given in NCBI search boxtype
string indicating type of NCBI Eutilitydb
string indicating the NCBI database used in queryurl
string of url to bypass query constructionencoding
encoding to be assumed for input strings, see readLines...
additional limits added to query

tips

Windows的同学注意encoding

调用EUtilsSummary

> search_query = EUtilsSummary(search_tags,retmax=100)
> summary(search_query)
Query:
"sleep"[MeSH Terms] OR "sleep"[All Fields] Result count:  205279

query为search build:

“sleep”[MeSH Terms] OR “sleep”[All Fields]

retmax为文献爬取最大数目

后处理

pubmed_data = data.frame('Title' = ArticleTitle(records),'Abstract'=AbstractText(records))
pubmed_data$Abstract <- as.character(pubmed_data$Abstract)
pubmed_data$Abstract <- gsub(",", " ", pubmed_data$Abstract, fixed = TRUE)

> str(pubmed_data)
'data.frame': 99 obs. of  2 variables:$ Title   : Factor w/ 97 levels "A common hub for sleep and motor control in the substantia nigra.",..: 41 56 49 45 4 35 94 2 83 51 ...$ Abstract: chr  "BACKGROUND: Sleep apnoea is prevalent in dialysis patients. Previous studies identified excessive inflammation "| __truncated__ "AIMS: A large proportion of patients at memory disorders clinics are classified as having subjective cognitive "| __truncated__ "BACKGROUND: Despite the abundance of data documenting the consequences of poor sleep quality on blood pressure "| __truncated__ "Sleep difficulties are commonly reported by patients with epilepsy and can have a detrimental impact on overall"| __truncated__ ...

well done

使用R进行pubmed爬虫相关推荐

r语言html爬虫,如何用R语言爬取网页中的表格
今天我们要讲怎么样用R写一个小的爬虫,来爬取网页中的表格.这里的网页指html页面.稍微百度一下大家就可以知道,html是一种高度结构化的文本标记语言.html表格所用的标签是 . 所以我们的思路大概 ...
R语言RCurl爬虫（多线程爬虫）-高评分豆瓣图书
R语言爬虫-高评分图书(豆瓣) # R语言爬虫-高评分图书(豆瓣) 本篇文章依然延续之前的爬虫类型文章,多次实操有助于对于代码的理解和技术的提升.此次爬取的是豆瓣上高评分的图书,每一次爬取都会给大家提 ...
R的爬虫和回归模型案例-以北京自如房租价格为例
一.背景爬虫向来不是R的专长,但并不代表R在此方面一事无成.正好在学习R的rvest爬虫包,不如边学边做,自己来做一个案例. 作为一名消费者,自如不错的管理服务和靠谱的房源使得在帝都想省事儿的我们, ...
R语言-爬虫rvest
爬虫就是批量自动将网页的内容抓取下来.用任何语言做爬虫必须要了解的就是网页语法,网页语言无非就是HTML,XML,JSON等,因为正是通过这些我们才能在网页中提取数据,过多的就不再描述,大家可以自行参 ...
数据挖掘r语言和python知乎_Hellobi Live |R语言爬虫实战案例分享：网易云课堂、知乎live、今日头条、B站视频...
课程名称 R语言爬虫实战案例分享:网易云课堂.知乎live.今日头条.B站视频网络数据抓取是数据科学中获取数据中的重要途径,但是一直以来受制于高门槛,都是专业程序员的专属技能.直到R语言和Pytho ...
python中数据分析的流程为-在数据分析流程中整合Python和R（一）
EARL 是一个关于 R 语言的会议.今年的会议中却出现了大量关于Python的讨论.我认为,这个现象部分归功于在会议前一天举办的,关于整合 Python 和 R 的三小时研讨会. 本文是此系列三篇文 ...
Python爬虫selenium、PhanmJs
selenium:可以模拟鼠标进行一些操作实例1:实现自动打开google浏览器,进行百度搜索,并关闭浏览器 from selenium import webdriver from time imp ...
R，让你的数据分析更简便！
R语言被广泛应用于生物.医学.电商.新闻等数据相关行业,是目前主流数据应用软件之一. 它是用来进行统计分析.绘图和统计编程的强大工具,它在大规模的数据挖掘.可视化和报告方面已经取得了巨大的成功.你能够 ...
通过R，让你的数据分析更简便！
R作为一种统计分析软件,广泛应用于生物.医学.电商.新闻等数据相关行业,是目前主流数据应用软件之一. 为了更好地帮助大家了解并快速入门R语言,现超级数学建模携手柯老师以R语言为基础,向大家隆重推出&l ...

使用R进行pubmed爬虫

工具

安装

使用

tips

调用EUtilsSummary

后处理

使用R进行pubmed爬虫相关推荐

最新文章

热门文章