Java爬虫Jsoup爬取必应壁纸

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.File;
import java.io.FileOutputStream;
import java.util.Scanner;
public class DIYMain3 {public static void main(String[] args) throws Exception {int page = 1;//起始页Scanner scanner = new Scanner(System.in);System.out.println("请输入你要下载多少页");int howMuchPage = scanner.nextInt();//输入下载的页数while (page <= howMuchPage) {Document document = Jsoup.connect("https://bing.ioliu.cn/?p=" + page + "").get();//请求链接Elements elements = document.select("a.mark");//元素集合为每一页的略缩图的那网址的页面int i = 1;for (Element element : elements) {//forEach遍历每一页的略缩图的那网址的页面String href = element.attr("href");//提取每一页的略缩图网址String newURL = "https://bing.ioliu.cn/" + href + "";//拼接成完整的略缩图网址Document document1 = Jsoup.connect(newURL).get();String imageSrc = document1.select("img.target.progressive__img.progressive--not-loaded").attr("data-progressive");try {byte[] bytes = Jsoup.connect(imageSrc).ignoreContentType(true).execute().bodyAsBytes();//将大图图片转为字节数组File filePath = new File("C://bring2//");//创建文件路径if (!filePath.exists())//文件路径不存在filePath.mkdir();//则创建此抽象文件路径FileOutputStream fileOutputStream = new FileOutputStream("" + filePath + "/第" + page + "页-第" + i + "张.jpg");fileOutputStream.write(bytes);//从字节数组中写出此流,生成高清大图图片} catch (Exception e) {//异常处理continue;//不在往下,跳过异常或不存在的高清大图网址}System.out.println("第" + page + "页-第" + i + "张.jpg正在下载.......");i++;}page++;}System.out.println("下载完成!");}
}

Java爬虫Jsoup爬取必应壁纸相关推荐

java爬虫京东商品,Java爬虫实现爬取京东上的手机搜索页面 HttpCliient+Jsoup
1.需求及配置需求:爬取京东手机搜索页面的信息,记录各手机的名称,价格,评论数等,形成一个可用于实际分析的数据表格. 使用maven项目,log4j记录日志,日志仅导出到控制台. maven依赖如下 ...
Java爬虫初学——爬取BT电影天堂电影的磁力链接并筛选下载
最近和朋友们一起看悬疑电影,会百度了解信息并把想看的电影写在记事本中,突然萌生了一个想法,能不能写一个简单的程序每次自动下载记事本中想看的电影.因此用了一个下午和一个晚上的时间学习和编写了一个简单的J ...
利用Python爬取必应壁纸
前言一个喜欢折腾的人,长期看到桌面只有一种壁纸,就想着自己从网上爬取一些壁纸,存下来,随机切换壁纸. 本文仅供学习交流. 工具 Python3 + requests + re Fiddler 抓包工 ...
【Java爬虫】爬取南通大学教务处成绩
没使用自动登录,所以获取是比较麻烦.. 1.http://jwgl.ntu.edu.cn/cjcx 进入官网,进行账号密码登录 2.点击全部成绩查询(也一定要点进去,不然cookie不会返回值) ...
基于Jsoup的Java爬虫-爬取必应壁纸网站的壁纸（Java静态壁纸爬虫实例）
准备阶段 1.必应壁纸网站:https://bing.ioliu.cn(爬取对象网站) 2.Jsoup包下载地址:https://jsoup.org/download(以下代码需要用到该包,记得导入包 ...
java爬虫之爬取博客园推荐文章列表
这几天学习了一下Java爬虫的知识,分享并记录一下: 写一个可以爬取博客园十天推荐排行的文章列表通过浏览器查看下一页点击请求,可以发现在点击下一页的时候是执行的 post请求,请求地址为 http ...
基于java使用jsoup爬取网站投票数据的demo
想爬取一个投票网站的实时数据获取姓名和票数查看网站源码(这里只展示一部分) <table border="0" cellpadding="0" cel ...
【JAVA爬虫】爬取猫眼电影TOP100并将数据存入数据库
前几天的简单写了个利用JSOUP进行JAVA爬虫,里面有谈到后续版本会更新数据库操作,所以这次来更新了. 版本更新此次的版本里数据爬取部分新增了[电影主演-star]和[电影评分-score]部分, ...
Java爬虫学习--爬取漫画
我看大部分的爬虫入门教学都是爬取图片的,但是我测试了一下,那个网站现在加了一些反爬措施(如协议头部的 referer),并且很容易就会遇到429(太多请求)这个问题.可能是多线程速度太快,这也说明了控 ...
java爬虫-简单爬取网页图片
刚刚接触到"爬虫"这个词的时候是在大一,那时候什么都不明白,但知道了百度.谷歌他们的搜索引擎就是个爬虫. 现在大二.再次燃起对爬虫的热爱,查阅资料,知道常用java.python语 ...

Java爬虫Jsoup爬取必应壁纸

Java爬虫Jsoup爬取必应壁纸

Java爬虫Jsoup爬取必应壁纸相关推荐

最新文章

热门文章