王者农药人物信息爬取

标题王者农药英雄技能爬取

import requests,json
from lxml import etree
import pandas as pdherolist_json = requests.get('https://pvp.qq.com/web201605/js/herolist.json').text
herolist = json.loads(herolist_json)
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}
print(herolist)
heroes_info = []def herotype_text(hero):if hero['hero_type'] == 1:herotype = '战士'elif hero['hero_type'] == 2:herotype = '法师'elif hero['hero_type'] == 3:herotype = '坦克'elif hero['hero_type'] == 4:herotype = '刺客'elif hero['hero_type'] == 5:herotype = '射手'elif hero['hero_type'] == 6:herotype = '辅助'return herotypedef fromturltotype(p):pt1 = int(partners[0][0:3])pt2 = int(partners[1][0:3])for hero in herolist:if hero['ename'] == pt1:pt1_num = hero['hero_type']pt1_type = herotype_text(hero)if hero['ename'] == pt2:pt2_num = hero['hero_type']pt2_type = herotype_text(hero)return pt1_type,pt2_typefor hero in herolist:herolink = "https://pvp.qq.com/web201605/herodetail/"+str(hero['ename'])+".shtml"page =  requests.get(herolink,headers=headers)page_tree = etree.HTML(page.content)name = page_tree.xpath("//h2[@class='cover-name']")[0].textlife = page_tree.xpath('//ul[@class="cover-list"]/li[1]/span/i/@style')[0][6:-1]#不可以直接获取绝对路径xpath，会报错hurt = page_tree.xpath('//ul[@class="cover-list"]/li[2]/span/i/@style')[0][6:-1]skill = page_tree.xpath('//ul[@class="cover-list"]/li[3]/span/i/@style')[0][6:-1]    difficulty = page_tree.xpath('//ul[@class="cover-list"]/li[4]/span/i/@style')[0][6:-1]herotype = herotype_text(hero)partners = page_tree.xpath('//div[@class="hero-info-box"]/div[1]/div[1]/div[2]//a/@href') pt1,pt2 = fromturltotype(partners)pt = [pt1,pt2,herotype]hero_info = [name,herotype,pt,life,hurt,skill,difficulty]heroes_info.append(hero_info)
print(heroes_info)
heroes_df = pd.DataFrame(heroes_info)
heroes_df.columns = ['英雄名','类型','搭档英雄类型','生存能力','攻击伤害','技能效果','上手难度']
heroes_df.sort_values(by='生存能力',ascending=False)  #这个方法有点问题,因为目前数据都不是数值数据类型，所以排序的时候会出现20反而比100排得靠前的情况
heroes_df.dtypes      #  查看当前数据类型
heroes_df[['生存能力','攻击伤害','技能效果','上手难度']] = heroes_df[['生存能力','攻击伤害','技能效果','上手难度']].apply(pd.to_numeric)#进行数据类型转换
heroes_df.dtypes     # 再看一次数据类型 ，已经变成浮点型了heroes_df.sort_values(by='生存能力',ascending=False)   #  重新排序，返回的是正确排序
# 值计数
heroes_df['搭档英雄类型'].astype('str').value_counts()# 画图
import pygal
line_chart = pygal.Bar()
line_chart.title = '王者荣耀英雄'
line_chart.x_labels = heroes_df['英雄名']
line_chart.add('生存能力', list(heroes_df['生存能力']))
line_chart.add('攻击伤害', list(heroes_df['攻击伤害']))
line_chart.add('技能效果', list(heroes_df['技能效果']))
line_chart.add('上手难度', list(heroes_df['上手难度']))
line_chart.render_to_file('hero.svg')###############heroes_df.to_csv('王者荣耀英雄数据.csv',encoding ='gbk',header = True, index = None)

王者农药人物信息爬取相关推荐

python爬取王者皮肤_Python爬取王者荣耀英雄皮肤高清图片
前言临下班前,看到群里有人在讨论用王者农药的一些皮肤作为电脑的壁纸,什么高清的,什么像素稍低的,网上查了一手,也有,但像素都不一样,所以,我就想着,自己去官网直接爬他的高清皮肤就好了,然后就有了这边 ...
个人-王者荣耀皮肤爬取
#王者荣耀皮肤抓取 #URL:https://pvp.qq.com/web201605/herolist.shtml #需求:获取所有英雄的所有皮肤并下载到本地import requests, jso ...
python爬取王者皮肤_Python爬取王者荣耀所有英雄以及高清大图
爬虫的原理: 模拟浏览器的行为,通过网络请求将目标网页抓取到本地. 使用一定的匹配规则,将目标网页中需要的数据提取出来,把不需要的过滤掉. 根据需求,把提取出来的数据存储到磁盘中(json.csv.e ...
Python：王者荣耀壁纸爬取
分析流程目标网站 http://shp.qpic.cn/ishow/2735010212/1577940093_84828260_16596_sProdImgNo_2.jpg/0 1024768壁纸 ...
Python爬取王者荣耀全英雄全皮肤图片
Python爬取王者荣耀全英雄全皮肤图片前言思路分析编码案例源码附图总结前言以前写过类似的博客,利用Java爬取王者荣耀全英雄全皮肤图片,当时是利用 jsoup包来对目标网页进行解析 ...
爬虫实战（二）—利用requests、selenium爬取王者官网、王者营地APP数据及pymongo详解
概述可关注微信订阅号 loak 查看实际效果. 代码已托管github,地址为:https://github.com/luozhengszj/LOLGokSpider ,包括了项目的所有代码. 本文 ...
爬虫爬取王者荣耀英雄
爬虫爬取王者荣耀英雄爬取英雄所在标签得到英雄详情页与图片地址爬取英雄所在标签 import requests import bs4 from bs4 import BeautifulSoup # ...
Python爬虫新手入门教学（十八）：爬取yy全站小视频
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
Python爬虫新手入门教学（十七）：爬取yy全站小视频
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...

王者农药人物信息爬取

标题王者农药英雄技能爬取

王者农药人物信息爬取相关推荐

最新文章

热门文章