前言

爬虫系列。

提示：以下是本篇文章正文内容，下面案例可供参考

一、数据爬取

示例：

二、使用步骤

1.引入库

代码如下（示例）：

import requests
from lxml import etree
from selenium import webdriver
import os
from selenium.webdriver.chrome.options import Options
import csv
import pymysql

2.读入数据

代码如下（示例）：


def get_url():base_url = 'http://pvp.qq.com/web201605/herolist.shtml'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36','Cookie':'RK=swQA3R4MTO; ptcz=fbbbfb166ef6016e5ef8db808b8e3fc849a10172cbfbf171112f9bf6246b8f1f; pgv_pvi=1645316096; pgv_pvid=3000228160; tvfe_boss_uuid=076500798fce0fbe; LW_uid=H1Q506i6v039A431t746D0l7m1; eas_sid=G1q5z6m6n059z4Z1q7J6H0a7t9; LW_sid=K1k5J6R888L9k9w3z0M5J1G2n6; ied_qq=o1248452992; o_cookie=1248452992; pac_uid=1_1248452992; uin_cookie=o1248452992; isHostDate=18389; isOsSysDate=18389; isOsDate=18389; PTTuserFirstTime=1588809600000; PTTosSysFirstTime=1588809600000; PTTosFirstTime=1588809600000; pgv_info=ssid=s9336335392; ts_uid=3000228160; weekloop=0-0-0-19; ieg_ingame_userid=i9k868I8dfvOg6iKeu5I8xnEmvJUtQBi; pt2gguin=o1248452992; ts_last=pvp.qq.com/web201605/herodetail/190.shtml; pvpqqcomrouteLine=herolist_herodetail_herodetail; PTTDate=1588834714567',}response = requests.get(url=base_url, headers = headers)response.encoding = 'gbk'html = response.textselector = etree.HTML(html)url_list = selector.xpath("//ul[@class='herolist clearfix']/li/a/@href")for url in url_list:url = 'http://pvp.qq.com/web201605/'+urlyield urldef get_name_and_url(url):options = Options()options.add_argument('--headless')options.add_argument('--disable-gpu')chrome = webdriver.Chrome(options=options)chrome.get(url)lis = chrome.find_elements_by_css_selector('.pic-pf-list li')for li in lis:img_url = 'http:'+li.find_element_by_tag_name("img").get_attribute("data-imgname")name = li.find_element_by_tag_name("p").textyield name, img_urldef save_to_local(name, img_url):img = requests.get(img_url).contentif os.path.exists('./wangzhe/') == False:os.makedirs('./wangzhe/')with open('./wangzhe/' + name + '.png', 'wb') as f:f.write(img)f.flush()print('success')f.close()def insertMysql(name, img_url):connect = pymysql.connect(host='localhost', user='root', password='123456', database='spiders', port=3306)cursor = connect.cursor()sql = 'insert into wangzhe(name, img_url) values(%s, %s)'cursor.execute(sql, (name, img_url))connect.commit()cursor.close()connect.close()def save_to_csv(name, img_url):with open('wangzhe.csv', 'a', encoding='utf-8', newline='') as f:writer = csv.writer(f)writer.writerow((name, img_url))print('success')for url in get_url():for name, img_url in get_name_and_url(url):save_to_local(name, img_url)

该处使用的url网络请求的数据。

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

爬王者荣耀动漫人物图片--python为例相关推荐

python绘制动漫人物图片女生可爱_绘画动漫人物图片女生唯美
喜欢动漫的朋友,一定也想画出唯美好看的动漫人物图片.学习啦小编特意为大家提供了绘画动漫人物女生唯美图片,如果你喜欢的话,记得分享给更多好友哦! 绘画动漫人物女生唯美图片欣赏绘画动漫人物女生唯美图片1 ...
python绘制动漫人物图片女生可爱_日本动漫人物图片女生可爱图片大全
日本动漫一直都是动漫行业的领军者,日本是一个全民都喜欢可爱事物的国家,因此日本动漫里的可爱女生自然不在少数,下面是学习啦小编整理的日本动漫人物图片女生可爱图片大全,欢迎欣赏. 日本动漫人物图片女生可爱 ...
给动漫人物图片去马赛克的工具！(python)开源
查看 https://github.com/youyuge34/Anime-InPainting
基础 | 如何通过DCGAN实现动漫人物图像的自动生成？
点击上方"机器学习与生成对抗网络",关注"星标" 获取有趣.好玩的前沿干货! 文章来源:淘系技术背景基于生成对抗网络(GAN)的动漫人物生成近年来兴起的动漫 ...
vegas可以做动画吗_使用Vegas如何编辑动漫人物合辑？
80.90乃至00后可以说是现在ACG文化的主流人群,有不少人曾经或者现在仍旧在追着动漫. A站与B站可以说是国内ACG文化的大本营,B站已不再局限于ACG小圈子的定位,番剧与动漫相关的视频仍旧是站内 ...
Python爬取王者荣耀全英雄全皮肤图片
Python爬取王者荣耀全英雄全皮肤图片前言思路分析编码案例源码附图总结前言以前写过类似的博客,利用Java爬取王者荣耀全英雄全皮肤图片,当时是利用 jsoup包来对目标网页进行解析 ...
jsoup爬取王者荣耀所有英雄背景图片
jsoup爬取王者荣耀所有英雄背景图片 import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes. ...
如何通过DCGAN实现动漫人物图像的自动生成？
深度学习领域在近几年取得了重大突破,其中大部分研究成果都基于感知技术,计算机通过模仿人类的思维方式,感知物体.识别内容.生成对抗网络的理念由Goodfellow于2014年提出的,它的发展历程只有六年 ...
python玩王者荣耀皮肤_《王者荣耀》游戏皮肤用python免费“偷”
原标题:<王者荣耀>游戏皮肤用python免费"偷" 本文使用Python制作爬虫,来爬取<英雄联盟><王者荣耀><神之浩劫>等游戏 ...

爬王者荣耀动漫人物图片--python为例

文章目录

前言

一、数据爬取

二、使用步骤

1.引入库

2.读入数据

总结

爬王者荣耀动漫人物图片--python为例相关推荐

最新文章

热门文章