java爬虫黑马百度云,Java爬虫小Demo java爬取百度风云榜数据

Java爬虫小Demo java爬取百度风云榜数据很简单的一个小例子，使用到了java的爬虫框架 jsoup ，一起啦看看实现的方法吧！

相关推荐：Python爬虫实战 python爬虫爬取百度风云榜榜单信息

Pom文件插入依赖的引用：

org.jsoup

jsoup

1.12.1

实现方法代码：

public String spider() {

String url = "http://top.baidu.com/buzz?b=341&c=513&fr=topbuzz_b1";

Document document = null;

try {

document = Jsoup.connect(url).userAgent("Mozilla").get();

} catch (IOException e) {

e.printStackTrace();

}

//这里根据在网页中分析的类选择器来获取数据列表所在的节点

Elements div = document.getElementsByClass("list-table");

//获取数据列表

Elements trs = div.select("tr");//查找table标签

int i = 0;

String title = "";

for (Element tr : trs) {

//获取所有电影详情的链接所在的节点

Elements td = tr.select("td");

//获取电影列表链接和标题

if(i<2) {

if(td.size()>1) {

title = title+td.get(1).select("a").get(0).text()+"/";

i++;

}

if(td.size()>1) {

System.out.println("-"+td.get(0).select("span").text()+"-"

+" "+td.get(1).select("a").get(0).text());

System.out.println(" 搜索指数:"+td.get(3).select("span").text()+"\n");

}

title = title+" 今日热点TOP50";

System.out.println(title);

return "";

}

java爬虫黑马百度云,Java爬虫小Demo java爬取百度风云榜数据相关推荐

Python爬虫新手入门教学（十四）：爬取有声小说网站数据
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
Python爬虫实战，Request+urllib模块，批量下载爬取飙歌榜所有音乐文件
前言今天给大家介绍的是Python爬取飙歌榜所有音频数据并保存本地,在这里给需要的小伙伴们代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是 ...
python爬取百度新闻_火车浏览器网络爬虫实践6：以“陕茶”为例爬取百度新闻搜索结果...
每天进步一点点,这是我2019年的小目标. 这是第6次学习与实践笔记了,这一次咱们把对象转移到百度搜索去,尝试使用火车浏览器爬虫工具来采集百度新闻搜索的结果,并做简单数据可视化展示. 01 抓取需求 ...
词云制作与词性统计——采用爬取的歌曲评论数据
文章目录前言一.评论数据清洗整理二.词云与词性统计 1.词云制作 2. 词性统计 3. 词云与词性部分的全部代码三.selenium评论获取部分总结前言 python课实验, 将爬取到QQ ...
【爬虫练手小demo】爬取古诗词
爬取的网站链接为 base_url= https://www.gushiwen.org/ 想按照页面右边栏的各个分类进行爬取,例如"春天","夏天"," ...
Python爬虫新手入门教学（十八）：爬取yy全站小视频
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
Python爬虫新手入门教学（十六）：爬取好看视频小视频
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
python爬取“百度小姐姐”
欢迎加入我们卧虎藏龙的python讨论qq群:996113038 最近经常推一些游戏类的推文发现这些推文的阅读量不是很高我算明白了写推文不趁妹子是没人看的想到自己好久没有发过爬虫了. 今天就给 ...
Python爬虫新手入门教学（二十）：爬取A站m3u8视频格式视频
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 前文内容 Python爬虫新手入门教学(一):爬取豆瓣电影排行信息 Python爬虫新手入门 ...
Python爬虫新手入门教学（十五）：爬取网站音乐素材
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...

java爬虫黑马百度云,Java爬虫小Demo java爬取百度风云榜数据

java爬虫黑马百度云,Java爬虫小Demo java爬取百度风云榜数据相关推荐

最新文章

热门文章