Python爬虫入门教程【6】:蜂鸟网图片爬取之一
1. 蜂鸟网图片–简介
国庆假日结束了,新的工作又开始了,今天我们继续爬取一个网站,这个网站为 http://image.fengniao.com/
,蜂鸟一个摄影大牛聚集的地方,本教程请用来学习,不要用于商业目的,不出意外,蜂鸟是有版权保护的网站。
2. 蜂鸟网图片–网站分析
第一步,分析要爬取的网站有没有方法爬取,打开页面,找分页
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=1¬_in_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=2¬_in_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=3¬_in_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=4¬_in_id=5352384,5352410
上面的页面发现一个关键的参数page=1
这个就是页码了,但是另一个比较头疼的问题是,他没有最后的页码,这样我们没有办法确定循环次数,所以后面的代码编写中,只能使用while
了
这个地址返回的是JSON格式的数据,这个对爬虫来说,非常友好!省的我们用正则表达式分析了。
分析这个页面的头文件,查阅是否有反爬措施
发现除了HOST和User-Agent以外,没有特殊的点,大网站就是任性,没啥反爬,可能压根不在乎这个事情。
第二步,分析图片详情页面,在我们上面获取到的JSON中,找到关键地址
关键地址打开之后,这个地方有一个比较骚的操作了,上面图片中标注的URL选的不好,恰好是一个文章了,我们要的是组图,重新提供一个新链接 http://image.fengniao.com/slide/535/5352130_1.html#p=1
打开页面,你可能直接去找规律了,找到下面的一堆链接,但是这个操作就有点复杂了,我们查阅上述页面的源码
http://image.fengniao.com/slide/535/5352130_1.html#p=1
http://image.fengniao.com/slide/535/5352130_1.html#p=2
http://image.fengniao.com/slide/535/5352130_1.html#p=3
....
Python资源分享qun 784758214 ,内有安装包,PDF,学习视频,这里是Python学习者的聚集地,零基础,进阶,都欢迎
网页源码中发现了,这么一块区域
大胆的猜测一下,这个应该是图片的JSON,只是他打印在了HTML中,我们只需要用正则表达式进行一下匹配就好了,匹配到之后,然后进行下载。
第三步,开始撸代码。
3. 蜂鸟网图片–写代码
from http_help import R # 这个文件自己去上篇博客找,或者去github找
import threading
import time
import json
import reimg_list = []
imgs_lock = threading.Lock() #图片操作锁# 生产者类
class Product(threading.Thread):def __init__(self):threading.Thread.__init__(self)self.__headers = {"Referer":"http://image.fengniao.com/","Host": "image.fengniao.com","X-Requested-With":"XMLHttpRequest"}#链接模板self.__start = "http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page={}¬_in_id={}"self.__res = R(headers=self.__headers)def run(self):# 因为不知道循环次数,所有采用while循环index = 2 #起始页码设置为1not_in = "5352384,5352410"while True:url = self.__start.format(index,not_in)print("开始操作:{}".format(url))index += 1content = self.__res.get_content(url,charset="gbk")if content is None:print("数据可能已经没有了====")continuetime.sleep(3) # 睡眠3秒json_content = json.loads(content)if json_content["status"] == 1:for item in json_content["data"]:title = item["title"]child_url = item["url"] # 获取到链接之后img_content = self.__res.get_content(child_url,charset="gbk")pattern = re.compile('"pic_url_1920_b":"(.*?)"')imgs_json = pattern.findall(img_content)if len(imgs_json) > 0:if imgs_lock.acquire():img_list.append({"title":title,"urls":imgs_json}) # 这个地方,我用的是字典+列表的方式,主要是想后面生成文件夹用,你可以进行改造imgs_lock.release()
上面的链接已经生成,下面就是下载图片了,也非常简单
# 消费者
class Consumer(threading.Thread):def __init__(self):threading.Thread.__init__(self)self.__res = R()def run(self):while True:if len(img_list) <= 0:continue # 进入下一次循环if imgs_lock.acquire():data = img_list[0]del img_list[0] # 删除第一项imgs_lock.release()urls =[url.replace("\\","") for url in data["urls"]]# 创建文件目录for item_url in urls:try:file = self.__res.get_file(item_url)# 记得在项目根目录先把fengniaos文件夹创建完毕with open("./fengniaos/{}".format(str(time.time())+".jpg"), "wb+") as f:f.write(file)except Exception as e:print(e)
Python资源分享qun 784758214 ,内有安装包,PDF,学习视频,这里是Python学习者的聚集地,零基础,进阶,都欢迎
代码走起,结果
Python爬虫入门教程【6】:蜂鸟网图片爬取之一相关推荐
- Python爬虫入门教程 6-100 蜂鸟网图片爬取之一
1. 蜂鸟网图片简介 国庆假日结束了,新的工作又开始了,今天我们继续爬取一个网站,这个网站为 http://image.fengniao.com/ ,蜂鸟一个摄影大牛聚集的地方,本教程请用来学习,不要 ...
- Python爬虫入门教程02:小说爬取
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 前文 01.python爬虫入门教程01:豆瓣Top电影爬取 基本开发环境 Python 3 ...
- python爬虫爬图片教程_Python爬虫入门教程 5-100 27270图片爬取
获取待爬取页面 今天继续爬取一个网站,http://www.27270.com/ent/meinvtupian/ 这个网站具备反爬,so我们下载的代码有些地方处理的也不是很到位,大家重点学习思路,有啥 ...
- Python爬虫入门教程09:多线程爬取表情包图片
前言
- python爬虫入门实战---------一周天气预报爬取_Python爬虫入门实战--------一周天气预报爬取【转载】【没有分析...
Python爬虫入门实战--------一周天气预报爬取[转载][没有分析 Python爬虫入门实战--------一周天气预报爬取[转载][没有分析] 来源:https://blog.csdn.ne ...
- Python爬虫小白教程(二)—— 爬取豆瓣评分TOP250电影
文章目录 前言 安装bs4库 网站分析 获取页面 爬取页面 页面分析 其他页面 爬虫系列 前言 经过上篇博客Python爬虫小白教程(一)-- 静态网页抓取后我们已经知道如何抓取一个静态的页面了,现在 ...
- python爬虫之使用requests进行图片爬取
前期回顾,关于python基础知识以及爬虫基础我们可以看 --> python学习手册,网络安全的小伙伴千万不要错过. 图片爬取思路 学会这一技能需要我们会python基础,xpath解析,其用 ...
- Python爬虫学习教程 bilibili网站视频爬取!【附源码】
Python爬虫学习教程,万物皆可爬!每个技术大牛都是从基础慢慢的提升上去的,基础知识越深以后的发展越牛!学好python,才能玩转python,那到底怎么才能学好python? 通过爬取b站案例带领 ...
- Python爬虫入门案例教学:批量爬取彼岸桌面4K超清美女壁纸
先图片开路 环境介绍 python 3.6 / 3.8 pycharm 编辑器 requests parsel os 文件操作 在cmd里面就可以进行安装 pip install requests 无 ...
- (原)python爬虫入门(2)---排序爬取的辽宁科技大学热点新闻
发现科大网页的源码中还有文章的点击率,何不做一个文章点击率的降序排行.简单,前面入门(1)基本已经完成我们所要的功能了,本篇我们仅仅需要添加:一个通过正则获取文章点击率的数字:再加一个根据该数字的插入 ...
最新文章
- [YTU]_2476(E3 继承了,成员函数却不可访问)
- 深度学习入门教程UFLDL学习实验笔记三:主成分分析PCA与白化whitening
- ok计数器使用教程_EEGLAB教程系列数据叠加平均{1}(Data averaging)|EEGLAB(7)
- 4月 .NET 线上 Meetup,快来报名
- 论坛中的验证码的作用
- vue 多点触控手势_涨姿势了!Appium也可以多点触控操作
- SingalR 构建 推送服务器初探
- MySQL优化详解(三)——MySQL慢查询与内参数优化
- TypeScript完全解读(26课时)_9.TypeScript完全解读-TS中的类
- Linux服务器自动清理缓存
- 基于STM32的汽车智能灯光控制系统
- 关于Ping和Tracert命令原理详解
- layui 确认,取消弹窗
- TJUPT 无法与服务器建立连接问题的解决方法
- html5 自动弹出键盘,HTML5 input焦点键盘弹出问题
- 【面经】Linux零碎系列
- 【收藏】关于元数据(Metadata)和元数据管理,这是我的见过最全的解读!
- i += j ;与 i = i + j ; 的区别
- Web测试要点(功能、性能、可用性、兼容、安全)
- 第十七章 Caché 定义和使用类查询