python爬虫——爬取英雄联盟英雄基本信息

爬取英雄联盟英雄基本信息

import requests
import re
import pymysqldb=pymysql.connect('localhost','root','126315','petzhang')
cursor=db.cursor()#1、分析目标网页，确定爬取的url路径，headers参数
base_url='https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js'
headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.9 Safari/537.36'}#2、发送请求
response=requests.get(base_url,headers=headers)
base_data=response.json()
print(base_data)

将base_data打印出来如下（一部分）：

{'hero': [{'heroId': '1', 'name': '黑暗之女', 'alias': 'Annie', 'title': '安妮', 'roles': ['mage'], 'isWeekFree': '0', 'attack': '2', 'defense': '3', 'magic': '10', 'difficulty': '6', 'selectAudio': 'https://game.gtimg.cn/images/lol/act/img/vo/choose/1.ogg', 'banAudio': 'https://game.gtimg.cn/images/lol/act/img/vo/ban/1.ogg'}, {'heroId': '2', 'name': '狂战士', 'alias': 'Olaf', 'title': '奥拉夫', 'roles': ['fighter', 'tank'], 'isWeekFree': '0', 'attack': '9', 'defense': '5', 'magic': '3', 'difficulty': '3', 'selectAudio': 'https://game.gtimg.cn/images/lol/act/img/vo/choose/2.ogg', 'banAudio': 'https://game.gtimg.cn/images/lol/act/img/vo/ban/2.ogg'}

#3、抓取数据
basedata=str(base_data)#转换为字符串
data_id=re.findall(r"heroId': '(.*?)', 'name",basedata)
data_name=re.findall(r"name': '(.*?)', 'alias",basedata)
data_alias=re.findall(r"alias': '(.*?)', 'title",basedata)
data_title=re.findall(r"title': '(.*?)', 'roles",basedata)
data_attack=re.findall(r"attack': '(.*?)', 'defense",basedata)
data_defense=re.findall(r"defense': '(.*?)', 'magic",basedata)
data_magic=re.findall(r"magic': '(.*?)', 'difficulty",basedata)
data_difficulty=re.findall(r"difficulty': '(.*?)', 'selectAudio",basedata)
#print(data_difficulty)#4、存取数据
for i in  range(len(data_id)):#print(i)sql1='insert into `lol_herolist` (`heroId`,`name`,`alias`,`roles`,`attack`,`defense`,`magic`,`difficulty`) values ("{}","{}","{}","{}","{}","{}","{}","{}")'sql1=sql1.format(data_id[i],data_name[i],data_alias[i],data_title[i],data_attack[i],data_defense[i],data_magic[i],data_difficulty[i])cursor.execute(sql1)db.commit()

python爬虫——爬取英雄联盟英雄基本信息相关推荐

Python爬虫爬取王者荣耀英雄人物高清图片
Python爬虫爬取王者荣耀英雄人物高清图片实现效果: 网页分析从第一个网页中,获取每个英雄头像点击后进入的新网页地址,即a标签的 href 属性值: 划线部分的网址是需要拼接的在每个英雄的具体 ...
python爬虫——爬取王者荣耀英雄出装建议（一）
爬取装备列表 #爬取王者荣耀装备,并写入MySQL数据库import requests import re import pymysqldb=pymysql.connect('localhost',' ...
Python批量爬取王者荣耀英雄高清壁纸
Python批量爬取王者荣耀英雄高清壁纸文章目录 Python批量爬取王者荣耀英雄高清壁纸前言爬虫步骤 python代码实现总结前言很多喜欢玩王者的朋友很希望把王者荣耀的英雄图片拿来做壁纸 ...
Java爬虫 --- 爬取王者荣耀英雄图片
Java爬虫 - 爬取王者荣耀英雄图片 import org.jsoup.Connection; import org.jsoup.Jsoup; import org.jsoup.nodes.Docu ...
爬虫爬取王者荣耀英雄故事和技能
初识爬虫爬取王者荣耀英雄故事和技能爬取王者荣耀英雄故事和技能源码奉上 import requests import re import os from lxml import etree if ...
爬虫爬取王者荣耀英雄
爬虫爬取王者荣耀英雄爬取英雄所在标签得到英雄详情页与图片地址爬取英雄所在标签 import requests import bs4 from bs4 import BeautifulSoup # ...
在当当买了python怎么下载源代码-python爬虫爬取当当网
[实例简介]python爬虫爬取当当网 [实例截图] [核心代码] ''' Function: 当当网图书爬虫 Author: Charles 微信公众号: Charles的皮卡丘 ''' impor ...
python爬虫代码实例-Python爬虫爬取百度搜索内容代码实例
这篇文章主要介绍了Python爬虫爬取百度搜索内容代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下搜索引擎用的很频繁,现在利用Python爬 ...
python爬虫数据分析可以做什么-python爬虫爬取的数据可以做什么
在Python中连接到多播服务器问题,怎么解决你把redirect关闭就可以了.在send时,加上参数allow_redirects=False 通常每个浏览器都会设置redirect的次数.如果re ...
python爬虫爬取csdn博客专家所有博客内容
python爬虫爬取csdn博客专家所有博客内容: 全部过程采取自动识别与抓取,抓取结果是将一个博主的所有文章存放在以其名字命名的文件内,代码如下 #coding:utf-8import urlli ...

python爬虫——爬取英雄联盟英雄基本信息

爬取英雄联盟英雄基本信息

python爬虫——爬取英雄联盟英雄基本信息相关推荐

最新文章

热门文章