RSelenium/Rwebdriver/rdom包抓取表格数据

安装RSelenium/Rwebdriver/rdom包

install.packages("RSelenium")
# 直接从CRAN下载RSelenium包
install.packages("devtools")
library(devtools)
install_github(repo = "Rwebdriver", username = "crubba")
# 从github下载Rwebdriver包
install_github("cpsievert/rdom")
# 从github下载rdom包

启动Selenium服务器

用RSelenium、Rwebdriver包抓取表格数据时，需在控制台输入java -jar D:\R\library\Rwebdriver\selenium-server-standalone-3.7.1.jar以启动Selenium服务器，配合plantomjs或其他浏览器，有建立-断开连接、打开-结束会话的过程
而用rdom包时，其通过调用plantomjs浏览器，模拟真实浏览器渲染和解析DOM，因此只需要下载plantomjs无头浏览器，并将存放路径添加到系统变量

案例一：北京天气数据

页面准备

library(dplyr)
library(xml2)
# 管道操作符/网页转码函数
weather.url <- "https://www.aqistudy.cn/historydata/monthdata.php?city=北京" %>% url_escape(reserved = "][!$&'()*+,;=:/?@#")
# url_escape()是xml2包的函数，参数reserved用来指定网址中不需要转码的字符，这里要保留除“北京”之外的任何标点符号如][!$&'()*+,;=:/?@#等
# 也可通过在线平台(http://tool.oschina.net/encode?type=4)进行转码，再将转码后的网址复制过来

RSelenium包

library(RSelenium)
remDr <- remoteDriver(browserName = "phantomjs")
remDr$open()
# 用无头浏览器模拟访问，创建一个remoteDriver对象并打开
remDr$navigate(weather.url)
# 访问指定页面library(XML)
table <- remDr$getPageSource()[[1]] %>% htmlParse(encoding = "UTF-8") %>% readHTMLTable(header = FALSE, which = 1)
# 法一：用XML包的函数获取内容-解析结构-抓取表格（同rvest）
library(rvest)
table <- remDr$getPageSource()[[1]] %>% read_html(encoding = "UTF-8") %>% html_table(header = FALSE) %>% .[[1]]
# 法二：用rvest包的函数获取内容-解析结构-抓取表格（同XML）View(table)
write.table(table, row.names = FALSE, col.names = FALSE, sep = ",", "weather.csv")
# View()函数查看数据并导出到本地
remDr$close()
# 关闭remoteDriver对象

Rwebdriver包

library(Rwebdriver)
start_session(root = "http://localhost:4444/wd/hub/", browser = "phantomjs")
# 创建一个新的会话过程
post.url(weather.url)
# 访问指定页面library(XML)
table <- page_source() %>% htmlParse(encoding = "UTF-8") %>% readHTMLTable(header = FALSE, which = 1)
# 法一：用XML包的函数获取内容-解析结构-抓取表格（同rvest）
library(stringi)
library(rvest)
table <- page_source() %>% stri_conv(., from = "UTF-8") %>% read_html() %>% html_table() %>% .[[1]]
# 法二：用rvest包的函数获取内容-解析结构-抓取表格（同XML）。stri_conv()是stringi包的字符编码函数View(table)
write.table(table, row.names = FALSE, sep = ",", "weather.csv")
# View()函数查看数据并导出到本地
quit_session()
# 结束会话

rdom包

library(rdom)
library(XML)
table <- rdom(weather.url) %>% readHTMLTable(header = FALSE)
# rdom(url)与htmlParse(url)得到的文件类型相同，均为"HTMLInternalDocument" "HTMLInternalDocument" "XMLInternalDocument" "XMLAbstractDocument"，进一步用readHTMLTable()提取表格
View(table)
write.table(table, row.names = FALSE, col.names = FALSE, sep = ",", "weather.csv")
# View()函数查看数据并导出到本地

查看数据

案例二：lol选手排名表

页面准备

lol.url <- "http://www.wanplus.com/lol/playerstats"
# 页面无需转码

RSelenium

library(RSelenium)
remDr <- remoteDriver(browserName = "phantomjs")
remDr$open()
# 用无头浏览器模拟访问，创建一个remoteDriver对象并打开
remDr$navigate(lol.url)
# 访问指定页面library(XML)
library(dplyr)
table <- remDr$getPageSource()[[1]] %>% htmlParse(encoding = "UTF-8") %>% readHTMLTable(header = FALSE, which = 1)
# 法一：用XML包的函数获取内容-解析结构-抓取表格（同rvest）
library(rvest)
table <- remDr$getPageSource()[[1]] %>% read_html(encoding = "UTF-8") %>% html_table(header = T) %>% .[[1]]
# 法二：用rvest包的函数获取内容-解析结构-抓取表格（同XML）colnames(table) <-c ("名次", "选手", "战队", "位置", "出场次数", "KDA", "参团率", "场均击杀", "单场最高击杀", "场均死亡", "单场最高死亡", "场均助攻")
# names(table) <- c("", "", ...)或colnames(table) <- c("", "", ...)赋列名
View(table)
write.table(table, row.names = FALSE, sep = ",", "lolplayer.csv")
# View()函数查看数据并导出到本地
remDr$close()
# 关闭remoteDriver对象

Rwebdriver

library(Rwebdriver)
start_session(root = "http://localhost:4444/wd/hub/", browser = "phantomjs")
# 创建一个新的会话过程
post.url(lol.url)
# 访问指定页面library(XML)
library(dplyr)
table <- page_source() %>% htmlParse(encoding = "UTF-8") %>% readHTMLTable(header = FALSE, which = 1)
# 法一：用XML包的函数获取内容-解析结构-抓取表格（同rvest）
library(stringi)
library(rvest)
table <- page_source() %>% stri_conv(from = "UTF-8") %>% read_html() %>% html_table() %>% .[[1]]
# 法二：用rvest包的函数获取内容-解析结构-抓取表格（同XML）。stri_conv()是stringi包的字符编码函数colnames(table) <- c("名次", "选手", "战队", "位置", "出场次数", "KDA", "参团率", "场均击杀", "单场最高击杀", "场均死亡", "单场最高死亡", "场均助攻")
# names(table) <- c("", "", ...)或colnames(table) <- c("", "", ...)赋列名
View(table)
write.table(table, row.names = FALSE, sep = ",", "lolplayer.csv")
# View()函数查看数据并导出到本地
quit_session()
# 结束会话

rdom包

library(rdom)
library(XML)
table <- rdom(lol.url) %>% readHTMLTable(header = FALSE, which = 1)
# rdom(url)与htmlParse(url)得到的文件类型相同，均为"HTMLInternalDocument" "HTMLInternalDocument" "XMLInternalDocument" "XMLAbstractDocument"，进一步用readHTMLTable()提取表格
colnames(table) <- c("名次", "选手", "战队", "位置", "出场次数", "KDA", "参团率", "场均击杀", "单场最高击杀", "场均死亡", "单场最高死亡", "场均助攻")
# names(table) <- c("", "", ...)或colnames(table) <- c("", "", ...)赋列名
View(table)
write.table(table, row.names = FALSE, sep = ",", "lolplayer.csv")
# View()函数查看数据并导出到本地

查看数据

参考资料：
这个包绝对值得你用心体验一次！
左手用R右手Python系列之——表格数据抓取之道

RSelenium/Rwebdriver/rdom包抓取表格数据相关推荐

R语言爬虫系列（1）XML抓取表格数据
使用XML抓取表格数据 install.packages("XML") trying URL 'https://cran.rstudio.com/bin/windows/contr ...
python抓取表格数据_Python如何实现从PDF文件中爬取表格数据（代码示例）
本篇文章给大家带来的内容是关于Python如何实现从PDF文件中爬取表格数据(代码示例),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. 本文将展示一个稍微不一样点的爬虫. 以往我们的 ...
R语言：使用rvest包抓取新浪财经A股交易数据
R语言网络爬虫工具中比较常用的包有RCurl.XML.rvest等,本文以新浪财经频道A股交易数据的抓取为例简单总结一下rvest包的用法. 首先介绍一下我们要抓取的对象,我们以"中信证券( ...
Wireshark学习笔记——如何快速抓取HTTP数据包
0.前言在火狐浏览器和谷歌浏览器中可以非常方便的调试network(抓取HTTP数据包),但是在360系列浏览器(兼容模式或IE标准模式)中抓取HTTP数据包就不那么那么方便了.虽然也可使用Http ...
Linux使用tcpdump抓取网络数据包示例
tcpdump是linux命令行下常用的的一个抓包工具,记录一下平时常用的方式,测试机器系统是ubuntu 12.04. tcpdump的命令格式 tcpdump的参数众多,通过man tcpdump ...
用C++实现网络编程---抓取网络数据包的实现方法
From: http://blog.csdn.net/zjl_1026_2001/article/details/2191311 做过网管或协议分析的人一般都熟悉sniffer这个工具,它可以捕捉流经 ...
爬虫抓取表格中的数据
有时候因为某些需求需要爬取某个网页中某个表格里的数据,这时候如果这个页面只有这一个表格的时候,那么抓取就比较容易了,但是当这个页面中有大量的表格的时候,再使用之前的方法,就会发现虽然也能抓取到要的数据 ...
linux-网络数据包抓取-tcpdump
全栈工程师开发手册 (作者:栾鹏) 架构系列文章用法格式: tcpdump [-i 网卡] [选项] '表达式' 选项说明如下: -i:interface 监听的网卡. -nn:表示以ip和port ...
C# 开发的网络数据包抓取的的实现
利用C# 开发的网络数据包抓取的的实现利用套接字Socket socket=new Socket(AddressFamily.InterNetwork, SocketType.Raw, Proto ...

RSelenium/Rwebdriver/rdom包抓取表格数据

安装RSelenium/Rwebdriver/rdom包

启动Selenium服务器

案例一：北京天气数据

案例二：lol选手排名表

RSelenium/Rwebdriver/rdom包抓取表格数据相关推荐

最新文章

热门文章