Python爬虫入门【6】:蜂鸟网图片爬取之一
1. 蜂鸟网图片--简介
国庆假日结束了,新的工作又开始了,今天我们继续爬取一个网站,这个网站为 http://image.fengniao.com/
,蜂鸟一个摄影大牛聚集的地方,本教程请用来学习,不要用于商业目的,不出意外,蜂鸟是有版权保护的网站。
2. 蜂鸟网图片--网站分析
第一步,分析要爬取的网站有没有方法爬取,打开页面,找分页
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=1¬_in_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=2¬_in_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=3¬_in_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=4¬_in_id=5352384,5352410
上面的页面发现一个关键的参数page=1
这个就是页码了,但是另一个比较头疼的问题是,他没有最后的页码,这样我们没有办法确定循环次数,所以后面的代码编写中,只能使用while
了
这个地址返回的是JSON格式的数据,这个对爬虫来说,非常友好!省的我们用正则表达式分析了。
分析这个页面的头文件,查阅是否有反爬措施
发现除了HOST和User-Agent以外,没有特殊的点,大网站就是任性,没啥反爬,可能压根不在乎这个事情。
第二步,分析图片详情页面,在我们上面获取到的JSON中,找到关键地址
关键地址打开之后,这个地方有一个比较骚的操作了,上面图片中标注的URL选的不好,恰好是一个文章了,我们要的是组图,重新提供一个新链接 http://image.fengniao.com/slide/535/5352130_1.html#p=1
打开页面,你可能直接去找规律了,找到下面的一堆链接,但是这个操作就有点复杂了,我们查阅上述页面的源码
http://image.fengniao.com/slide/535/5352130_1.html#p=1
http://image.fengniao.com/slide/535/5352130_1.html#p=2
http://image.fengniao.com/slide/535/5352130_1.html#p=3
....
Python资源分享qun 784758214 ,内有安装包,PDF,学习视频,这里是Python学习者的聚集地,零基础,进阶,都欢迎
网页源码中发现了,这么一块区域
大胆的猜测一下,这个应该是图片的JSON,只是他打印在了HTML中,我们只需要用正则表达式进行一下匹配就好了,匹配到之后,然后进行下载。
第三步,开始撸代码。
3. 蜂鸟网图片--写代码
from http_help import R # 这个文件自己去上篇博客找,或者去github找
import threading
import time
import json
import reimg_list = []
imgs_lock = threading.Lock() #图片操作锁# 生产者类
class Product(threading.Thread):def __init__(self):threading.Thread.__init__(self)self.__headers = {"Referer":"http://image.fengniao.com/","Host": "image.fengniao.com","X-Requested-With":"XMLHttpRequest"}#链接模板self.__start = "http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page={}¬_in_id={}"self.__res = R(headers=self.__headers)def run(self):# 因为不知道循环次数,所有采用while循环index = 2 #起始页码设置为1not_in = "5352384,5352410"while True:url = self.__start.format(index,not_in)print("开始操作:{}".format(url))index += 1content = self.__res.get_content(url,charset="gbk")if content is None:print("数据可能已经没有了====")continuetime.sleep(3) # 睡眠3秒json_content = json.loads(content)if json_content["status"] == 1:for item in json_content["data"]:title = item["title"]child_url = item["url"] # 获取到链接之后img_content = self.__res.get_content(child_url,charset="gbk")pattern = re.compile('"pic_url_1920_b":"(.*?)"')imgs_json = pattern.findall(img_content)if len(imgs_json) > 0:if imgs_lock.acquire():img_list.append({"title":title,"urls":imgs_json}) # 这个地方,我用的是字典+列表的方式,主要是想后面生成文件夹用,你可以进行改造imgs_lock.release()
上面的链接已经生成,下面就是下载图片了,也非常简单
# 消费者
class Consumer(threading.Thread):def __init__(self):threading.Thread.__init__(self)self.__res = R()def run(self):while True:if len(img_list) <= 0:continue # 进入下一次循环if imgs_lock.acquire():data = img_list[0]del img_list[0] # 删除第一项imgs_lock.release()urls =[url.replace("\\","") for url in data["urls"]]# 创建文件目录for item_url in urls:try:file = self.__res.get_file(item_url)# 记得在项目根目录先把fengniaos文件夹创建完毕with open("./fengniaos/{}".format(str(time.time())+".jpg"), "wb+") as f:f.write(file)except Exception as e:print(e)
Python资源分享qun 784758214 ,内有安装包,PDF,学习视频,这里是Python学习者的聚集地,零基础,进阶,都欢迎
代码走起,结果
Python爬虫入门【6】:蜂鸟网图片爬取之一相关推荐
- python爬虫入门练习:BeautifulSoup爬取猫眼电影TOP100排行榜,pandas保存本地excel文件
传送门:[python爬虫入门练习]正则表达式爬取猫眼电影TOP100排行榜,openpyxl保存本地excel文件 对于上文使用的正则表达式匹配网页内容,的确是有些许麻烦,替换出现任何的差错都会导致 ...
- python爬虫——百度贴吧图片爬取 小项目
项目目的: 爬取贴吧中所有帖子里面的图片 将爬取到的图片存储到名称为贴吧名称的文件夹中 项目环境 python版本:python3.6 用到的库:requests.etree.unquote 浏览器: ...
- Python爬虫入门之豆瓣短评爬取
采用工具pyCharm,python3,工具的安装在这就不多说了,之所以采用python3是因为python2只更新维护到2020年. 新建python项目 File-Settings-project ...
- python爬虫入门_3种方法爬取古诗文网站
目的: 爬取古诗文网的古诗词,获取详细信息,目标网站:https://www.gushiwen.org/default.aspx?page=1 1.根据网页分析可知 下面包含了当前页面的所有信息,所以 ...
- Python爬虫入门教程06:爬取数据后的词云图制作
前言
- Python爬虫入门教程31:爬取猫咪交易网站数据并作数据分析
前言
- Python爬虫入门教程32:爬取boss直聘招聘数据并做可视化展示
前言
- Python爬虫入门教程27:爬取某电商平台数据内容并做数据可视化
前言
- Python爬虫入门教程30:爬取拉勾网招聘数据信息
前言
- Python爬虫利用18行代码爬取虎牙上百张小姐姐图片
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片 下面开始上代码 需要用到的库 import request #页面请求 import time #用于时间延迟 import re #正则表达式 ...
最新文章
- oracle判断非空并拼接,oracle sql 判断字段非空,数据不重复,插入多跳数据
- .NET Compact Framework下SQL CE的使用
- ateq测漏仪f620中文说明书_Yaman雅萌美容仪详细介绍及2019年韩国免税店最新报价...
- HDU - 4641 K-string(后缀自动机)
- 控制台查出数据传到layui数据表格却没有数据的问题
- 王道操作系统考研笔记——2.3.2 进程互斥的软件实现方法
- Nature长文:打破AI黑盒的“持久战”
- Elasticsearch7.15.2 报java.lang.NoClassDefFoundError: org/elasticsearch/client/Cancellable的解决方案
- oracle DB死锁
- Hibernate--Criteria Query and DetachedCriteria
- table中background背景图片自动拉伸
- 如何学习数据库?数据库零基础入门指导
- 【Android驱动】module_init 和 module_exit
- 深入OpenJDK源码全面理解Java类加载器(下 -- Java源码篇)
- 微警务:网上公安服务一键开启
- opencv人脸识别(一)调用笔记本摄像头
- 【OR】二次规划(1)
- 每日LeetCode一道题————有效的数独
- 32 --> 详解 OpenWRT系统框架基础软件模块之netifd
- C#+Appium+Nunit demo