python入门之爬虫------抓取王者荣耀英雄列表
抓取王者荣耀英雄列表及其对应的全部皮肤名称
目标
在王者荣耀官网抓取王者荣耀英雄列表,每个英雄拥有的皮肤数量,及其对应的全部皮肤名称。
过程分析
首先获得官网的herolist.json文件,里面包含我们需要抓取的信息。Chrome浏览器打开王者荣耀官网,进入英雄资料网页,打开开发者工具,刷新页面就能找到herolist.json,
http://pvp.qq.com/web201605/js/herolist.json ,就是herolist.json的网址。打开herolist.json,可以看到里面有哪些内容:
其实它是一个列表类型,里面的每一个元素都是字典类型,存储着我们需要的信息,英雄名cname,皮肤名skin_name, 再对skin_name求长度,就能得到皮肤数量。
完整代码
import urllib.request
import jsonresponse = urllib.request.urlopen("http://pvp.qq.com/web201605/js/herolist.json")#接受响应,读取内容
hero_json = json.reads(response.read())for i in hero_json:hero_name = i['cname']skin_names = i['skin_name'].split('|')skin_num = len(skin_names)print('hero_name', hero_name)print('skin_names', skin_names)print('skin_num', skin_num)
注意:如果直接用sublime打开的json文件阅读不方便,可以使用json格式化工具方便阅读,这里是一个在线转换链接:http://tool.oschina.net/codeformat/json**。
python入门之爬虫------抓取王者荣耀英雄列表相关推荐
- 抓取王者荣耀英雄列表的爬虫笔记(python+requests)
在开始这个内容之前,我们先来一张效果图: 实现它,需要几个过程: 调用王者荣耀助手的数据接口获取所有英雄的图片 通过迭代,把所有图片转换成二进制数据流 把这些数据导入MySQL数据库中 由于项目需求, ...
- python代码壁纸-爬虫 抓取王者荣耀所有英雄皮肤高清壁纸+超强注释
[python]代码库import urllib.request import re # 获取主页源码 url = 'https://pvp.qq.com/web201605/herolist.sht ...
- Python爬虫爬取王者荣耀英雄人物高清图片
Python爬虫爬取王者荣耀英雄人物高清图片 实现效果: 网页分析 从第一个网页中,获取每个英雄头像点击后进入的新网页地址,即a标签的 href 属性值: 划线部分的网址是需要拼接的 在每个英雄的具体 ...
- node抓取王者荣耀英雄资料库
用node写的爬虫,抓取王者荣耀英雄资料库,只是为了学习,侵删! 主要包括(基本上相关的都抓取): 召唤师技能 铭文 装备 英雄 皮肤 英雄故事 英雄技能 推荐铭文 推荐装备 技能加点 没有搞懂如何动 ...
- Java爬虫 --- 爬取王者荣耀英雄图片
Java爬虫 - 爬取王者荣耀英雄图片 import org.jsoup.Connection; import org.jsoup.Jsoup; import org.jsoup.nodes.Docu ...
- 爬虫爬取王者荣耀 英雄故事 和技能
初识爬虫 爬取王者荣耀英雄故事和技能 爬取王者荣耀英雄故事和技能 源码奉上 import requests import re import os from lxml import etree if ...
- 爬虫爬取王者荣耀英雄
爬虫爬取王者荣耀英雄 爬取英雄所在标签 得到英雄详情页与图片地址 爬取英雄所在标签 import requests import bs4 from bs4 import BeautifulSoup # ...
- 利用python从网络上爬取图片_一篇文章教会你利用Python网络爬虫抓取王者荣耀图片...
点击上方"IT共享之家",进行关注 回复"资料"可获赠Python学习福利 [一.项目背景] 王者荣耀作为当下最火的游戏之一,里面的人物信息更是惟妙惟肖,但受到 ...
- python爬虫——爬取王者荣耀英雄出装建议(一)
爬取装备列表 #爬取王者荣耀装备,并写入MySQL数据库import requests import re import pymysqldb=pymysql.connect('localhost',' ...
最新文章
- Java初学者如何自学和自己定位解决问题
- 奇异值分解(SVD) --- 几何意义
- HTML5一个浪漫的程序猿:3D旋转爱心表白神器思路源码视频
- 在去长春和松源的路上
- duplicate symbols for architecture arm64的问题结决方法
- PDF控件PDF Creator V5.5.2.3发布 | 支持插入PDF417条形码
- Arcgis修改栅格数据像素值
- 常见的会员积分系统都有什么样的功能?
- 再掀融资潮 团购网仍后劲不足(团购现状分析)
- web标准和w3c_W3C记录了Web的体系结构
- 全国青少年软件编程(Scratch)等级考试一级考试真题2022年12月——持续更新.....
- 移动端界面设计之尺寸篇
- C++的tie()函数
- Hadoop3.3.4最新版本安装分布式集群部署
- python的脚本扩展名是什么_Python的脚本文件扩展名为()。
- flutter 定时器、返回上一页、设置最大最小宽度
- 用Spark GraphX进行图计算(详细步骤)
- ERP在企业中的应用
- Django +python+bootstrap 开发web,app,接口测试平台(持续更新)
- UML类图之基础图示法
热门文章
- IPv4和IPv6的链路本地地址的自动分配
- think-queue安装与使用
- 微软PC与Xbox One实现跨平台联机
- 小米枪战不显示服务器,小米枪战大逃杀无法开始游戏 在读条界面卡住了怎么办...
- Leetcode171. Excel 表列序号
- 湖北理工学院c语言程序设计4,黄石理工学院《C语言程序设计》试卷(5份)
- SAS及其他数字编程中[le,gt,eq,ne,lt,ge]的意思
- 阿里飞猪简历面 20.3.11
- 用Java代码轻松实现秒杀系统
- python装饰器--@property