java爬取堆糖所有头像(高质量版头像)

百度贴吧的用户头像爬下来之后，图片经过裁剪，尺寸太小，都是110*110之类的，并且有很多用户被注销后，头像是缩略图重复，所以爬了堆糖里面的头像，堆糖里的头像质量还是蛮高的。

堆糖官网：www.duitang.com

package com.yq.spider;import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.BufferedReader;
import java.io.Closeable;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*** ----爬虫工具类----* 用于爬取堆糖头像* 堆糖官网：https://www.duitang.com* @author 习惯~* 完成时间：2018/12/22 1:51:00* 欢迎交流：qq  714588944*   */
public class DuiTangDemo {public static void main(String[] args) {while(true){int startIndex = (int)(Math.random()*23977);DuiTangDemo.start(startIndex);}}public static void start(int startIndex) {String urlStr = "https://www.duitang.com/napi/blog/list/by_filter_id/?include_fields=top_comments%2Cis_root%2Csource_link%2Citem%2Cbuyable%2Croot_id%2Cstatus%2Clike_count%2Csender%2Calbum%2Creply_count&filter_id=%E5%A4%B4%E5%83%8F&start=" + startIndex;String charset = "utf8";String content = getURLContent(urlStr, charset);String regex = "https://b-ssl.duitang.com/uploads/([\\s\\S]+?)g";List<String> result = getMatcherContent(content, regex );download(result);}/*** 指定url网页字符集，并返回网页源代码* * @param urlStr* @param charset* @return* @throws IOException*/public static String getURLContent(String urlStr, String charset) {StringBuilder sb = new StringBuilder();BufferedReader br = null;try {URL url = new URL(urlStr);br = new BufferedReader(new InputStreamReader(url.openStream(), charset));String line = null;while ((line = br.readLine()) != null) {sb.append(line);}} catch (IOException e) {e.printStackTrace();closeAll(br);}return sb.toString();}/*** 网页源代码通过匹配正则表达式获取符合条件的信息 并封装成list返回* * @param content* @param regex* @return*/public static List<String> getMatcherContent(String content, String regex) {List<String> result = new ArrayList<>();Pattern p = Pattern.compile(regex);Matcher m = p.matcher(content);while (m.find()) {result.add(m.group());}return result;}/*** 下载集合中的图片* * @param result* @throws IOException*/public static void download(List<String> result) {for (String temp : result) {download(temp);}}/*** 下载图片详细方法* * @param imgURL*/public static void download(String imgURL) {// 测试中发现有个结果不符合要求，过滤掉if (!(imgURL.endsWith(".jpg") || imgURL.endsWith(".jpeg")))return;System.out.println("堆糖--正在下载：" + imgURL);BufferedInputStream bis = null;BufferedOutputStream bos = null;try {File dest = new File("d:/堆糖头像");// 图片下载在d盘下的spider文件夹下if (!dest.exists())dest.mkdirs();// 图片名String imgName = imgURL.substring(imgURL.lastIndexOf("/") + 1);dest = new File(dest, imgName); // 构建子文件夹// 开始下载图片到本地URL url = new URL(imgURL);bis = new BufferedInputStream(url.openStream());bos = new BufferedOutputStream(new FileOutputStream(dest));byte[] flush = new byte[1024];int len = 0;while ((len = bis.read(flush)) != -1) {bos.write(flush, 0, len);}bos.flush(); // 强制刷新} catch (IOException e) {e.printStackTrace();closeAll(bis, bos);}}/*** 关闭流的方法* * @param io*/public static void closeAll(Closeable... io) {for (Closeable temp : io) {try {if (temp != null)temp.close();} catch (IOException e) {e.printStackTrace();}}}
}

java爬取堆糖所有头像(高质量版头像)相关推荐

Java获取游戏头像_java爬取堆糖所有头像(高质量版头像)
百度贴吧的用户头像爬下来之后,图片经过裁剪,尺寸太小,都是110*110之类的,并且有很多用户被注销后,头像是缩略图重复,所以爬了堆糖里面的头像,堆糖里的头像质量还是蛮高的. 堆糖官网:www.dui ...
把url地址复制到粘贴板上_写个简单的python爬虫爬取堆糖上漂亮的小姐姐
简单的爬虫入门实战最近刚学了python的爬虫,刚好可以用来爬取漂亮的图片作为壁纸,网上美图网站有很多,比如:花瓣,堆糖.它们请求图片数据的方式差不多类似,都是通过用户不断下滑加载新的图片,这种请求 ...
爬取堆糖蜜桃猫图片并下载到本地
爬去蜜桃猫大家可以打开堆糖网,不需要登录,然后搜索蜜桃猫,就会发现许多可爱的蜜桃猫和他的小对象,我们这次的任务就是要爬取蜜桃猫的日常生活.下面是爬取的代码,我们先提取了每个图片的链接,然后进行了下载 ...
爬虫小项目（四）利用多进程和ajax技术爬取堆糖
这次主要讲一下怎么分析ajax请求来获得我们想要的数据,在通过多进程进行抓取,当然这次的目的主要是这两个,所以最后的结果是以打印在控制台为主. 那么让我们开始这一次的爬虫之旅我们先进入堆糖网,这次我 ...
python3 爬虫日记(三) 爬取堆糖动态加载网页
1.分析:进入堆糖网后我们在分类找到插画绘画进入这个分类后发现好多图片,下拉后发现会有不断的图片刷新出来,这就是堆糖采用了动态加载网页. 2.用开发者工具(F12)分析:按一下F12,找到networ ...
python3网络爬虫：爬取堆糖照片
首先对页面进行点击分析,查看如片,分析url. # -*- coding: utf-8 -*-import requests import threading import urllib.parse# ...
爬虫练习3 爬取堆糖网校花照片
知识点: 多线程的实现图片的下载及写入字符串高级查找了解动态加载和jsonrequest 的用法获取数据的api'https://www.duitang.com/napi/blog/list/by_ ...
用Java做爬虫爬取王者荣耀的英雄头像
大家好,今天我和大家分享一下用Java做爬虫爬取王者荣耀的英雄头像. 首先我们需要王者荣耀的网址,然后获取连接,通过IO读取网页的源代码,用正则表达式筛选我们需要的代码,在每个筛选对象(图片的地址)前 ...
java爬取百度贴吧所有用户头像
第一次写爬虫,觉得蛮有意思的写了个爬取贴吧用户头像的工具类如有问题,多多指教~ 爬虫工具类 package com.yq.spider;import java.io.BufferedInputSt ...
java爬取网易云热评并制作词云。
IT小白终于脱离hello world,实现用java爬取网易云热评并制作词云,激动激动激动. 一.自我介绍二.上代码 1.封装各个model类 2.实现各项功能的service类 3.设计一个制作 ...

java爬取堆糖所有头像(高质量版头像)

java爬取堆糖所有头像(高质量版头像)相关推荐

最新文章

热门文章