python爬虫爬取糗百成人图片多线程版本

来个简单的多线程，爬取速度比单线程要快很多，下面上代码：

#encoding:utf-8
#多线程爬取import requests
import os
from bs4 import BeautifulSoup
import threading
import urllib.requestFIRST_PAGE_URL = 'http://www.qiubaichengren.com/{}.html'
PAGE_URL_LIST = []
IMG_URL_LIST = [] #所有的图片链接
NAME_LIST = []
gLock = threading.Lock()
for x in range(1,100):page_url = FIRST_PAGE_URL.format(x)PAGE_URL_LIST.append(page_url)def get_page():while True:gLock.acquire()if len(PAGE_URL_LIST) == 0:gLock.release()breakelse:page_url = PAGE_URL_LIST.pop()gLock.release()response = requests.get(page_url)content = response.contentsoup = BeautifulSoup(content, 'lxml')src = soup.find_all('div', class_='mala-text')imgs = soup.find_all('img')for img in src:url = img.find('img')link = url.get('src')title = url.get('alt')split_list = link.split('/')final = split_list.pop()t_split_list = final.split('.')suffix = t_split_list.pop()filename = title + '.' + suffix  # 名字加后缀gLock.acquire()NAME_LIST.append(filename)IMG_URL_LIST.append(link)gLock.release()#download_image(link, filename)def download_image():while True:gLock.acquire()if len(IMG_URL_LIST) == 0:gLock.release()continueelse:url = IMG_URL_LIST.pop()filename = NAME_LIST.pop()gLock.release()path = os.path.join('images', filename)urllib.request.urlretrieve(url, filename=path)def main():for x in range(4):th = threading.Thread(target=get_page)th.start()for x in range(5):th = threading.Thread(target=download_image)th.start()
if __name__ == "__main__":main()

python爬虫爬取糗百成人图片多线程版本相关推荐

使用Python爬虫爬取网络美女图片
代码地址如下: http://www.demodashi.com/demo/13500.html 准备工作安装python3.6 略安装requests库(用于请求静态页面) pip instal ...
用python爬虫爬取网页壁纸图片（彼岸桌面网唯美图片）
参考文章:https://www.cnblogs.com/franklv/p/6829387.html 今天想给我的电脑里面多加点壁纸,但是嫌弃一个个保存太慢,于是想着写个爬虫直接批量爬取,因为爬虫只 ...
利用Python爬虫爬取网页福利图片
最近几天,学习了爬虫算法,通过参考书籍,写下自己简单爬虫项目: 爬取某福利网站的影片海报图片环境:anaconda3.5+spyder3.2.6 目录 1.本节目标 2.准备工作 3.抓取分析 4. ...
python唯美壁纸_用python爬虫爬取网页壁纸图片（彼岸桌面网唯美图片）
参考文章:https://www..com/franklv/p/6829387.html 今天想给我的电脑里面多加点壁纸,但是嫌弃一个个保存太慢,于是想着写个爬虫直接批量爬取,因为爬虫只是很久之前学过 ...
用Python 爬虫爬取贴吧图片
之前一直在看机器学习,遇到了一些需要爬取数据的内容,于是稍微看了看Python爬虫,在此适当做一个记录.我也没有深入研究爬虫,大部分均是参考了网上的资源. 先推荐两个Python爬虫的教程,网址分别是 ...
python爬虫爬取网页壁纸图片（《底特律：变人》）
参考文章:https://www.cnblogs.com/franklv/p/6829387.html 爬虫爬取网址:http://www.gamersky.com/news/201804/10396 ...
python爬虫爬取知乎图片，轻松解决头像荒
前言最近逛知乎,发现了一个问题. 回答下很多好看的头像,因此我动了一个心思,想要制作一个小网页,可以随机返回一款好看的情头.心思既起,当然要开始付诸行动.但是想要制作如此一个网页,后 ...
python爬虫爬取小姐姐图片
前言大致熟悉了python的基础语法以后,开始学习爬虫基础. 一.爬取前的准备工作 python3.7环境(只要是python3版本都可以): 依赖包 : time requests re (缺少包 ...
python爬虫爬取小姐姐图片（5762张）
接触爬虫的第一天第一步:现将python环境搭建好,工欲利其事必先利其器! 第二步:寻找目标网站,我选择的网站是http://www.win4000.com,里面有一个美女板块,里面有各种小姐姐的照 ...
用python爬虫爬取无水印图片_使用python 爬虫，爬取图片
一.需求: 用python实现去内涵段子里面下载网页当中的图片到本地当中二.实现: 1.获取要爬取的URL地址 2.设置headers 3.请求网页内容,把html内容转换成XML 4.解析地址内容 ...

python爬虫爬取糗百成人图片多线程版本

python爬虫爬取糗百成人图片多线程版本相关推荐

最新文章

热门文章