Java爬虫爬取英雄联盟英雄的皮肤图片到本地

1.打开英雄联盟的官网，找到英雄介绍的页面

https://lol.qq.com/data/info-heros.shtml 所有英雄的页面

https://lol.qq.com/data/info-defail.shtml?id=1 单个英雄的详细页面

2.使用postman调用单个英雄网址分析页面抓到英雄信息的具体网址js

如上图所示：文件地址：https://game.gtimg.cn/images/lol/act/img/js/hero/1.js

注意：1.js 数字不固定，有多少个英雄就有多少个js js顺序不连续如图所示：

3.打开eclipse，引入maven依赖，这个是开源的工具类。

         <dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>5.1.5</version></dependency>

4.编写代码为什么循环取875，是上边分析页面得出的最大值，中间有很多没有的js，访问不到的。

 public static void downloadTest() throws Exception {String result1;for (int i = 1; i <= 875; i++) {result1= HttpUtil.get("https://game.gtimg.cn/images/lol/act/img/js/hero/"+i+".js");
//          Console.log(result1);if(result1.length()>85) {JSONObject jsonObject = JSONUtil.parseObj(result1);JSONArray skinsArray = jsonObject.getJSONArray("skins");List<String> heroNameList = new ArrayList<>();List<String> heroUrlList = new ArrayList<>();String heroTitle,heroName,name,mainImg;for (Object obj : skinsArray) {
//                  obj.toString();
//                  Console.log(obj.toString());JSONObject skinObject = JSONUtil.parseObj(obj.toString());heroTitle = skinObject.get("heroTitle").toString();heroName = skinObject.get("heroName").toString();name = skinObject.get("name").toString();mainImg = skinObject.get("mainImg").toString();
//                  Console.log("英雄名字：{}-{}-{}，皮肤URL：{}",heroName,heroTitle,name,mainImg);heroNameList.add(heroName+"-"+heroTitle+"-"+name);heroUrlList.add(mainImg);}for (int j = 0; j < heroUrlList.size(); j++) {if(!"".equals(heroUrlList.get(j))&&heroUrlList.get(j)!=null) {HttpUtil.downloadFile(heroUrlList.get(j), FileUtil.file("d:/英雄联盟皮肤/"+heroNameList.get(j)+".jpg"));}}Console.log("下载完成 {}",i);}Thread.sleep(1000);}}

为了访问慢一点，这里让主线程睡眠1秒。当然也不是必须的。

结果：可以看到所有图片都下载到本地了，大概一千多张。

Java爬虫爬取英雄联盟英雄的皮肤图片到本地相关推荐

Java爬虫 --- 爬取王者荣耀英雄图片
Java爬虫 - 爬取王者荣耀英雄图片 import org.jsoup.Connection; import org.jsoup.Jsoup; import org.jsoup.nodes.Docu ...
Python爬虫爬取王者荣耀英雄人物高清图片
Python爬虫爬取王者荣耀英雄人物高清图片实现效果: 网页分析从第一个网页中,获取每个英雄头像点击后进入的新网页地址,即a标签的 href 属性值: 划线部分的网址是需要拼接的在每个英雄的具体 ...
爬虫爬取王者荣耀英雄故事和技能
初识爬虫爬取王者荣耀英雄故事和技能爬取王者荣耀英雄故事和技能源码奉上 import requests import re import os from lxml import etree if ...
爬虫爬取王者荣耀英雄
爬虫爬取王者荣耀英雄爬取英雄所在标签得到英雄详情页与图片地址爬取英雄所在标签 import requests import bs4 from bs4 import BeautifulSoup # ...
python java 爬数据_如何用java爬虫爬取网页上的数据
当我们使用浏览器处理网页的时候,有时候是不需要浏览的,例如使用PhantomJS适用于无头浏览器,进行爬取网页数据操作.最近在进行java爬虫学习的小伙伴们有没有想过如何爬取js生成的网络页面吗?别急 ...
Java爬虫爬取某招聘网站招聘信息
Java爬虫爬取某招聘网站招聘信息一.系统介绍二.功能展示 1.需求爬取的网站内容 2.实现流程 2.1数据采集 2.2页面解析 2.3数据存储三.获取源码一.系统介绍系统主要功能:本项目 ...
java爬虫爬取笔趣阁小说
java爬虫爬取笔趣阁小说 package novelCrawler;import org.jsoup.Connection; import org.jsoup.HttpStatusException ...
Java爬虫爬取wallhaven的图片
Java爬虫爬取wallhaven的图片参考文章:JAVA Jsoup爬取网页图片下载到本地需要的jar包:jsuop wallhaven网站拒绝java程序访问,所以要伪装报头. 发送请求时 C ...
我的第一个开源项目：Java爬虫爬取旧版正方教务系统课程表、成绩表
Java爬虫爬取旧版正方教务系统课程表.成绩表一.项目展示 1.正方教务系统首页 2.爬虫系统首页: 成绩查询: 课表查询: 二.项目实现 1.爬取思路描述无论是成绩查询或课表查询亦或者其它的 ...
Java爬虫爬取天猫淘宝京东搜索页和商品详情
Java爬虫爬取天猫淘宝京东搜索页和商品详情先识别商品url,区分平台提取商品编号,再根据平台带着商品编号爬取数据. 1.导包 <d ...

Java爬虫爬取英雄联盟英雄的皮肤图片到本地

Java爬虫爬取英雄联盟英雄的皮肤图片到本地相关推荐

最新文章

热门文章

Java爬虫 爬取英雄联盟英雄的皮肤图片到本地

Java爬虫 爬取英雄联盟英雄的皮肤图片到本地相关推荐

最新文章

热门文章

Java爬虫爬取英雄联盟英雄的皮肤图片到本地

Java爬虫爬取英雄联盟英雄的皮肤图片到本地相关推荐