用groovy采集网页数据

首先，用 http://groovyconsole.appspot.com/ 测试下面的代码，发现引用总是失败.

下载了GGTS： https://spring.io/tools/ggts

测试成功：

@Grapes( @Grab(group='org.ccil.cowan.tagsoup', module='tagsoup', version='1.2') )
import org.ccil.cowan.tagsoup.Parser;

class TestHtml {

public static void main(String[] args){
String ENCODING = "UTF-8"
def PARSER = new XmlSlurper(new Parser() )

def url = "http://www.nfl.com/stats/categorystats?archive=false&conference=null&statisticCategory=PASSING&season=2010&seasonType=REG&experience=null&tabSeq=0&qualified=true&Submit=Go"

new URL(url).withReader (ENCODING) { reader ->

def document = PARSER.parse(reader)
def data = document.'**'.find {it.@class == 'data-table1'}.tbody.tr.collect {
[
Rk: it.td[0].text().trim(),
Player: it.td[1].text().trim(),
PlayerUrl: "http://www.nfl.com" + it.td[1].a.@href.text().trim(),
Team: it.td[2].text().trim(),
Pos: it.td[3].text().trim()
]
}

data.each { it -> println it }
}
}
}

转载于:https://www.cnblogs.com/fengwenit/p/5620484.html

用groovy采集网页数据相关推荐

java多线程数据采集,【多线程数据采集课题】java采集网页数据方法
[多线程数据采集专题]java采集网页数据方法 java多线程网络数据采集第一步抓取数据. java采集网页数据.获取html文本节点有几种办法.转载文章请注明来处:http://blog.cs ...
《火车头采集器采集网页数据》火车头配置规则采集信息文章数据。
此为火车头采集器的页面 *左边建立分组,建议结构都和所需要采集的数据结构一致,不然数据多了起来,很容易混乱. 1, 创建任务起始网址是指你需要抓取的网址,例如:http://www.day.gov. ...
curl模拟自动登陆采集网页数据
<!DOCTYPE> <html> <head> <meta http-equiv="Content-Type" content=&quo ...
java爬取网页数据_如何使用爬虫工具采集数据
网络爬虫是一种按照一定规则,自动抓取万维网数据的脚本.按照一定规则,指的是爬虫程序需要解析网页的dom结构,针对dom结构爬取自己感兴趣的数据. (图1) 这就是一个网页源码的dom结构,我们需要一级 ...
【上课课件整理复习】第六章网页数据的采集(1)
知识回顾网络爬虫的概念网络爬虫的应用网络爬虫的实现数据写入和读取本章内容遍历单个域名采集整个网站通过互联网采集本章目标掌握遍历单个域名的方法掌握采集整个网站的方法了解通过互联网 ...
爬虫软件尝试-后羿采集器：批量免费抓取网页数据
免费软件尝试-后裔采集器软件特点:免费,全平台(Windows. Mac. Linux),操作简单无需技术. 使用流程: 下载软件打开->输入抓取数据的网址->职能采集->等待自动 ...
8种网页数据的采集工具
10种AI训练数据采集工具排行榜 8种网页数据的采集工具 1.目前常用的8种数据网站 2.如何写Python爬虫: 3.人生第一个爬虫代码示例: 另外: 8种网页数据的采集工具如何收集网页数据,来 ...
网页数据采集器-输入域名自动采集网站网页数据的软件免费
网页数据采集器,什么是网页数据采集器.网页数据采集器有什么用?网页数据采集器批量采集网站数据资源,省去所有的复制粘贴,提高工作效率,提高工作产出,加快数据分析.今天给大家分享一款免费的网页数据采集器, ...
在Scrapy中如何利用Xpath选择器从网页中采集目标数据——详细教程（下篇）
点击上方"Python爬虫与数据挖掘",进行关注回复"书籍"即可获赠Python从入门到进阶共10本电子书今日鸡汤二十四桥明月夜, 玉人何处教吹箫. ...

用groovy采集网页数据

用groovy采集网页数据相关推荐

最新文章

热门文章