python 爬虫采集图标

采集# http://sc.adminbuy.cn/icon/list_1_2.html网页里的图标
import requests
from lxml import etree
import urllib.parse
import urllib.request
import os
import time
# http://sc.adminbuy.cn/icon/list_1_2.html
# tree = etree.HTML(content)
class pa(object):def __init__(self):self.url = "http://sc.adminbuy.cn"self.header= {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"}self.item = []def run_url(self):#这里是拼接20个网页并逐步获取url的响应for i in range(1,20):url = "http://sc.adminbuy.cn/icon/list_1_{}.html".format(i)book = requests.get(url)book.encoding='utf-8'book=book.textself.load(book)time.sleep(10)def load(self,book):#获取每个网页中的图片并解析图片的 链接地址tree = etree.HTML(book)film_list = tree.xpath('.//div[@class="content"]/ul/li')for list_link in film_list:# link_href = list_link.xpath('.//a/img/@src')[0]link_href = self.url + list_link.xpath('.//a/@href')[0]name = list_link.xpath('.//a/img/@alt')[0]+".png"self.download_img(link_href,name)time.sleep(3)def download_img(self,*args): #得到每个图片的网络地址后 用urllib去下载图片，保存到imgpath路径下面request = urllib.request.Request(url = args[0],headers=self.header)path = r"D:\project\iconbom\Icon"respone = urllib.request.urlopen(request)imgpath = os.path.join(path,args[1])print(imgpath)if not os.path.exists(path):os.mkdir(path)with open(imgpath,"wb")as fp:fp.write(respone.read())
if __name__ == '__main__':spider = pa()spider.run_url()

python 爬虫采集图标相关推荐

Python爬虫采集抓取：Python3.x+Fiddler 采集抓取 APP 数据
随着移动互联网的市场份额逐步扩大,手机 APP 已经占据我们的生活,以往的数据分析都借助于爬虫采集爬取网页数据进行分析,但是新兴的产品有的只有 APP,并没有网页端这对于想要提取数据的我们就遇到了些问 ...
Python爬虫|采集开源众包的悬赏任务，自动翻页
前言现在互联网,有很多网站提供一些接单外派的形式,提供给有能力的人或者团队去接单.比如说,很多人熟悉的猪八戒,程序员客栈,CODING 码市,开源众包等等平台,相信很多同学也都知道. 如果要第一时间 ...
python discuz_用python爬虫采集discuz论坛数据
2019年课程规划及价格说明 PHP实战视频教程大全打算做一个论坛,可是论坛数据量大如果全靠自己手动发布工作了就太大了所以就想用python写一个入门级的爬虫,其实爬虫写好了才发现,写爬虫采集数据 ...
Python爬虫采集搞笑段子示例
对于爬虫的用处不同的人有不同的看法,对于我而言,他是一门技能也是一门艺术,只有掌握其中的原理,才能让你体会到真正的快乐.下文就是我用python爬虫爬取搞笑段子的实例可以一起探讨下. 涉及知识点 1. ...
python爬虫采集京东商品评价
前两期给大家介绍了如何利用requests库爬取小说和图片,这一期就和大家分享一下如何爬取京东商品的评价信息,这里先设置爬取50页,以做日后分析. 准备工作下面式要用到的库,请确保电脑中有以下库,没 ...
如何用最简单的Python爬虫采集整个网站
在之前的文章中Python实现"维基百科六度分隔理论"之基础爬虫,我们实现了在一个网站上随机地从一个链接到另一个链接,但是,如果我们需要系统地把整个网站按目录分类,或者要搜索网站上 ...
利用Python爬虫采集mac电脑皮肤
用requests来爬取mc著名皮肤网站blessing skin blessing skin网站介绍:blessing skin网址为 https://skin.prinzeugen.net/ 是深 ...
mac用python爬虫下载图片_利用Python爬虫采集mac电脑皮肤|简明python教程|python入门|python教程...
https://www.xin3721.com/eschool/pythonxin3721/ blessing skin网站介绍:blessing skin网址为 https://skin.prinz ...
YzmCMS采集之如何利于Python爬虫采集全网文章
YzmCMS采集,YzmCMS是一款轻量级开源内容管理系统,它采用自主研发的框架YZMPHP开发.但是由于YzmCMS是一种比较小众的CMS,市面上很少或者说没有一款针对YzmCMS采集发布的工具,Y ...

python 爬虫采集图标

python 爬虫采集图标相关推荐

最新文章

热门文章

python 爬虫采集 图标

python 爬虫采集 图标相关推荐

最新文章

热门文章

python 爬虫采集图标

python 爬虫采集图标相关推荐