java是由Jsoup实现网络爬虫（爬取豆瓣书评top25）的书籍数据

这是主要对Jsoup 的方法熟悉，Jsoup 学习推荐
下面就是爬取数据的有关代码：

String link = null;   // 书的链接String title = null;  // 书的名称String score = null;  // 书的评分String num = null ;   // 获取评价人数Document content = Jsoup.connect("https://book.douban.com/top250").get();//Elements pl2 = content.getElementsByClass("item");Elements pl2 = content.select(".item");int i=1;for (Element element:pl2){Element links = element.getElementsByTag("a").first();Element putureUrl = element.getElementsByTag("img").get(0);Element star = element.getElementsByClass("star clearfix").get(0);Element pl21 = element.getElementsByClass("pl2").get(0);Element controller = element.getElementsByClass("quote").get(0);link = links.attr("href");        // 获取电影的链接String url = putureUrl.attr("src");title = pl21.child(0).html();    // 获取电影名称String content1 = controller.child(0).html();  //简介score = star.child(1).html();     // 获取电影评分num = star.child(2).html();       // 获取评价人数System.out.println(i+++"\t"+link +"\t图片地址："+ url+"\t" + title + "\t评分" + score + "\t" + num+"\t"+content1);}

运行的结果如下：`

java是由Jsoup实现网络爬虫（爬取豆瓣书评top25）的书籍数据相关推荐

一、网络爬虫----爬取豆瓣网前250条数据
一.爬虫的基本流程发起请求通过HTTP库向目标站点发起请求,也就是发送一个Request,请求可以包含额外的header等信息,等待服务器响应获取响应内容如果服务器能正常响应,会得到一个Res ...
网络爬虫-爬取指定城市空气质量检测数据
爬取指定城市空气质量检测数据网站链接 → https://www.aqistudy.cn/historydata/ 以月数据为例,见下图: 然后我们通过console调试可以发现这个网页在item ...
利用定向网络爬虫爬取豆瓣电影top250【Python】
最近在外地实习,闲来无事学了一下requests库和BeautifulSoup,掌握基本用法之后试着爬取了一下豆瓣电影top250,中间也参考了不少其他大佬的博客,所以最后写出来的代码也都大同小异吧, ...
网络爬虫爬取拉勾招聘网
网络爬虫爬取拉勾招聘网搭配好环境复制以下代码 # -*- coding: utf-8 -*- """ Created on Mon Sep 7 21:44:39 20 ...
python网络爬虫_Python网络爬虫——爬取视频网站源视频！
原标题:Python网络爬虫--爬取视频网站源视频! 学习前提 1.了解python基础语法 2.了解re.selenium.BeautifulSoup.os.requests等python第三方库 ...
python如何爬虫网页数据-python网络爬虫爬取网页内容
1.什么是网络爬虫? 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自 ...
如何利用Python网络爬虫爬取微信朋友圈动态--附代码（下）
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py ...
python朋友圈动态_如何利用Python网络爬虫爬取微信朋友圈动态--附代码（下）
前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py ...
python抓取朋友圈动态_如何利用Python网络爬虫爬取微信朋友圈动态--附代码（下）...
原标题:如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下) 前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往 ...

java是由Jsoup实现网络爬虫（爬取豆瓣书评top25）的书籍数据

java是由Jsoup实现网络爬虫（爬取豆瓣书评top25）的书籍数据相关推荐

最新文章

热门文章