Java爬取彼岸桌面壁纸的实现(使用Jsoup)

ava爬取彼岸桌面壁纸的实现(使用Jsoup)


import org.apache.http.client.ClientProtocolException;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.*;
import java.util.Scanner;
import java.util.regex.Pattern;
public class Main {public static int  sum = 0;public static void main(String[] args)  {int ch = 1;//初始化int page=1;boolean selectAll=false;//判断用下载全部的真假情况String flage = null ;while(true){String[] arry= {"rili","dongman","fengjing","meinv","youxi","yingshi","dongtai","weimei","sheji","keai","qiche","huahui","dongwu","jieri","renwu","meishi","shuiguo","jianzhu","tiyou","junshi","feizhuliu","qita","s/wangzherongyao" ,"s/huyan" ,"s/lol" };System.out.println("彼岸桌面壁纸\n壁纸预览请打开网址c\n壁纸的大小为1920*1080\n请选择你要下载的壁纸类型\t\n1.日历壁纸  2.动漫壁纸  3.风景壁纸  4.美女壁纸  5.游戏"+ "\n6.影视        7.动态  8.唯美壁纸  9.设计  10.可爱壁纸 "+ "\n11.汽车壁纸   12.花卉  13.动物  14.节日  15.人物 \n16.美食     17.水果  18.建筑  19.体育  20.军事 \n21.非主流    22.其它  23.王者荣耀  24.护眼  25.LOL"+ "\n26.下载以上全部类型\n0.退出");Scanner in = new Scanner(System.in);if(selectAll==false) //如果选择下载全部类型为 假ch=in.nextInt();//让用户自己选择下载什么类型if(ch==26) {//如果选择26.下载全部类型selectAll=true;//选择全部为 真ch=0;//并赋值为0；}if(selectAll==true)//选择下载全部类型为 真ch++;//ch自动加1，达到自动下载全部,flage = arry[ch-1];try {downLoadPicture(page, flage);} catch (Exception e) {// TODO: handle exceptionSystem.out.println("感谢你的使用！总共为你下载了" + sum + "张图;目录在C:/爬虫图片/"+flage+"/");System.out.println("下载完毕,返回主菜单！");//  in=new Scanner(System.in);}}}public static void downLoadPicture(int page, String flage) throws ClientProtocolException, IOException, InterruptedException {String adress;if (page == 1)adress = "http://www.netbian.com/"+flage+"/index.htm";elseadress = "http://www.netbian.com/"+flage+"/index_" + page + ".htm";// Jsoup解析器Document document = Jsoup.connect(adress).get();//指定URL发送请求并返回document// elements标签下的内容    Jsoup解析                                         //直接从浏览器复制过来Elements elements = document.select("div.wrap.clearfix #main div.list  ul li a");// 选择，元素，标签int i = 0;                     //如果类名有空格继续用.链接// 进一步清洗for (i = 0; i < 21; i++) {// 观察到一个有略缩图的网页一共有30张Element element = elements.get(i);// 拿到高清图的链接，这个链接在 href 标签里面，attr接收到高清图链接String attr = element.attr("href");if (attr.equals("https://pic.netbian.com/"))//跳过广告continue;String address2 = "http://www.netbian.com" + attr + "";// Jsoup解析器           再进一步的清洗//向高清图网页,发送请求并返回documentDocument document2 = Jsoup.connect(address2).get();//直接从浏览器复制过来Elements elements2 = document2.select("div.endpage div.pic p a img");// 选择，元素，标签// System.out.println( elements2);Element element2 = elements2.get(0);// src有图片的地址，得到了高清图片的地址src.....String address3 = element2.attr("src");String imageName = element2.attr("title");// 利用高清图地址发送请求,并设置最大请求的文件大小最大为3M,忽略文件类型,执行请求.得到服务器的回应,Connection.Response response = Jsoup.connect(address3).maxBodySize(30000000).ignoreContentType(true).execute();//将回应转为字节数组,然后保存到电脑上byte[] bytes = response.bodyAsBytes();File file = new File("C:/我的爬虫图片下载/"+flage+"");if(!file.exists())//如果目录不存在file.mkdirs();//创建目录FileOutputStream fos = new FileOutputStream(new File("C:/我的爬虫图片下载/"+flage+"/"+page+"-"+i+""+imageName+".jpg")); // 创建FileOutputStream对象BufferedOutputStream bos = new BufferedOutputStream(fos);//缓冲区流bos.write(bytes); // 向流中写数据bos.close(); // 关闭流sum++;System.out.println("恭喜第" + page + " 页的图片正在下载......总共下载了" + sum + "张图;目录在C:/我的爬虫图片下载/"+flage+"/");}page++;//下一页downLoadPicture(page,flage);}
}

Java爬取彼岸桌面壁纸的实现(使用Jsoup)相关推荐

Java爬虫---实战案例（爬取彼岸桌面壁纸）
目录步骤一:创建项目步骤二:网页分析 1.在缩略图页面获取到详情页的超链接 2.在详情页页面获取到图片的下载地址步骤三:图片下载翻页功能源代码平时玩的爬虫都是用python写的,今天突发奇 ...
运用python爬取彼岸桌面所有关键字高清壁纸
运用python爬取彼岸桌面所有关键字高清壁纸第一次在csdn写博客, 个人技术并不成熟, 还是学生, 高手轻喷菜鸡勿啄就是心血来潮想要换桌面壁纸, 存在一个文件夹自动更换, 但是从网站上一个一个 ...
Java爬虫学习一一Jsoup爬取彼岸桌面分类下的图片
最近在找工作,在这个过程中我感到很迷茫,投了很多简历,被查看的却很少,其中也有到现场去面试,结果也很不理想(╥╯^╰╥). 哈哈,跑题了,我在看之前所做的项目时,在我的收藏夹中看到了以前收藏的有关爬虫 ...
Python3.7 爬取彼岸桌面（2021-6-27 21:39:58）
问题描述: 昨天写了一个粗糙的爬取风景的 python ,今天写个稍微好一点的爬取彼岸桌面的代码 # -*- coding=utf-8 -*- # 1: 引包 import time import u ...
python桌面爬虫_爬虫项目实战十三：爬取zol桌面壁纸
目标爬取zol桌面壁纸,批量下载图片. 项目准备软件:Pycharm 第三方库:requests,fake_useragent,re,lxml 网站地址:http://desk.zol.com.c ...
【python日常学习】爬取4K桌面壁纸
[python日常学习]爬取4K桌面壁纸这个网站都是4K的桌面壁纸. 不多说,直接上代码 import re import requests import osdef get_page():page ...
python壁纸4k_【python日常学习】爬取4K桌面壁纸
[Python] 纯文本查看复制代码import re import requests import os from time import sleep def get_page(): page = ...
Python爬虫入门案例教学：批量爬取彼岸桌面4K超清美女壁纸
先图片开路环境介绍 python 3.6 / 3.8 pycharm 编辑器 requests parsel os 文件操作在cmd里面就可以进行安装 pip install requests 无 ...
使用requests+lxml爬取zol桌面壁纸
明确爬取路线我们要爬取的是ZOL桌面壁纸的壁纸下载排行榜系列壁纸而要获取到每个下载排行榜系列的图片必须点击对应专题进入专题详情页才能看到专题对应的壁纸,这些壁纸就是我们要爬取的对象,归纳一下: 获 ...
python爬取ZOL桌面壁纸图片
最近迷上了爬虫,看了一丢丢视频学习之后,开始实战,爬取图片地址: http://desk.zol.com.cn/ 循环爬取"风景"图片,实现代码如下: from urllib im ...

Java爬取彼岸桌面壁纸的实现(使用Jsoup)

ava爬取彼岸桌面壁纸的实现(使用Jsoup)

Java爬取彼岸桌面壁纸的实现(使用Jsoup)相关推荐

最新文章

热门文章