Wanning

我们不是生产者,我们只是搬运工

资源来至于qiubaichengren ，代码基于Python 3.5.2
友情提醒：血气方刚的骚年。请

谨慎阅图！！！
谨慎阅图！！！
谨慎阅图！！！

code：

#!/usr/bin/env python
# -*- coding: utf-8 -*-import os
import urllib
import urllib.request
import re
import threading
from urllib.error import URLErrorclass QsSpider:def __init__(self):self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'self.header = {'User-Agent': self.user_agent}self.save_dir = './pic'# 网址self.url = 'http://www.qiubaichengren.com/%s.html'# 需要爬取的页面数self.page_num = 10def start(self):for i in range(1, self.page_num):# 每个页面创建一个线程去下载thread = threading.Thread(target=self.load_html, args=str(i))thread.start()def load_html(self, page):# 获取网站的html页面try:web_path = self.url % pagerequest = urllib.request.Request(web_path, headers=self.header)with urllib.request.urlopen(request) as f:html_content = f.read().decode('gb2312')# print(html_content)self.pick_pic(html_content)except URLError as e:print(e.reason)returndef save_pic(self, img):# 保存图片到执行路径的pic目录下，替换不能作为文件名的特殊字符save_path = self.save_dir + "/" + img.replace(':', '@').replace('/', '_')# 如果目录不存在就创建if not os.path.exists(self.save_dir):os.makedirs(self.save_dir)# 打印路径及执行的线程print(save_path + '---%s' % threading.current_thread())# 取回图片已路径名作文件名保存到指定目录下urllib.request.urlretrieve(img, save_path)passdef pick_pic(self, html_content):# 正则匹配出图片链接regex = r'src="(http:.*?\.(?:jpg|png|gif))'patten = re.compile(regex)pic_path_list = patten.findall(html_content)for i in pic_path_list:self.save_pic(str(i))spider = QsSpider()
spider.start()

Python 爬虫多线程爬取美女图片保存到本地相关推荐

Python爬虫之爬取网络小说并在本地保存为txt文件
Python爬虫之爬取网络小说并在本地保存为txt文件注:本文使用软件为Sublime Text,浏览器为谷歌浏览器 (新手小白第一次写,写得不好请见谅) **1.**首先找到想要爬取的小说章节目录 ...
爬取美女图片保存本地与入MySQL库(宅男福利)
本文详细记录如何爬取美女图片,并将图片下载保存在本地,同时将图片url进行入库.保存在本地肯定是为了没事能拿出来养养眼啊,那入库就是为了定位图片啊,要懂点技术的话,还能搬运搬运做个小图片网站,不为别的 ...
方法教程 | Python爬虫：爬取风景图片
"突发奇想,给各位爬爬壁纸图片,话不多说,开始行动.如果文章对你有帮助,点赞,收藏." 一,知道爬取自己想要的壁纸图片网址模型写出来 '''爬取网络图片1,要到主页面的 ...
利用python爬虫大量爬取网页图片
最近要进行一类图片的识别,因此需要大量图片,所以我用了python爬虫实现一.爬取某一图片网站主要参考:https://www.cnblogs.com/franklv/p/6829387.html ...
Python爬虫将爬取的图片写入world文档
作为初学爬虫的我,无论是爬取文字还是图片,都可以游刃有余的做到,但是爬虫所爬取的内容往往不是单独的图片或者文字,于是我就想是否可以将图文保存至world文档里,一开始使用了如下方法保存图片: with ...
Python爬虫——关键字爬取百度图片
在日常生活中,我们经常需要使用百度图片来搜索相关的图片资源.而如果需要大量获取特定关键字的图片资源,手动一个个下载无疑十分繁琐且费时费力.因此,本文将介绍如何通过Python爬虫技术,自动化地获取百度 ...
Python爬虫——批量爬取微博图片（不使用cookie）
引言:刚开始我想要爬取微博的照片,但是发现网上大多数的blog都是需要一个cookie的东西,当时我很难得到,偶然翻到一个个人的技术博客: http://www.omegaxyz.com/2018/0 ...
Python爬虫(1)------爬取网站图片
初学爬虫的学习流程环境 python 3.6 使用 urlib库进行爬取内容熟悉爬虫首先对百度进行爬取 # -*- coding: utf-8 -*- import urllib.request ...
Python爬虫：爬取网页图片
目录开始: 分析与步骤: 第一步第二步第三步第四步最后: 开始: 最近在自学爬虫,自己也做了一些实例,(自认为)写的比较好的就是对整个网站的爬取了.接下来我将会说一说我使用的工具及方法. 注 ...

Python 爬虫多线程爬取美女图片保存到本地

Wanning

code：

Python 爬虫多线程爬取美女图片保存到本地相关推荐

最新文章

热门文章