前言

为了更好的掌握数据处理的能力，因而开启Python网络爬虫系列小项目文章。

小项目小需求驱动，每篇文章会使用两种以上的方式（Xpth、Bs4、PyQuery、正则）获取想要的数据。
博客系列完结后，将会总结各种方式。

一、需求

批量爬取4k类型的图片
下载到各类文件夹中

二、分析

1、Ctrl+U 查看网页源代码

$$$$4k各类型主页URL4k各类型主页URL4k各类型主页URL$$$$

$$$$4k各类型图片URL4k各类型图片URL4k各类型图片URL$$$$

2、进一步分析

获取各类型url，拼接主页url地址
请求各类型url，获取具体4k图片下载地址
访问4k图片下载地址下载资源

三、处理

Bs4 +正则处理

通过page.find_all(“div”, attrs={“class”:“nav-m clearfix tran”}) 找到该类属性的div
发现数据堆在一条中，利用正则获取url、title（通用方法.*?）

def get_4k_url(source_code):# 初始化bs4page = BeautifulSoup(source_code,"html.parser")info_4k = page.find_all("div", attrs={"class":"nav-m clearfix tran"})# 利用正则获取相关信息process = re.compile(r'<a href="(?P<url>.*?)" .*?>(?P<title>.*?)</a>',re.S)# 将html转为字符串result = process.finditer(str(info_4k))# 定义字典进行存储pic_dict = {}for img in result:title = img.group("title")url = img.group("url")if url.startswith("/"):pic_dict[title] = f"{INDEX_URL}{url}"return pic_dict

这里4k手机壁纸的类属性不一样，做了个判定处理
通过Select选择器定位到a标签获取src属性值

def get_img_url(url):# 获取网页源代码source_code = process_index(url)# 初始化bs4page = BeautifulSoup(source_code, "html.parser")# 处理部分特殊（4k手机壁纸）if url == "http://pic.netbian.com/shoujibizhi/":info_4k_a = page.select(".alist > ul > li > a")else:info_4k_a = page.select(".slist > ul > li > a")url_list = []for a in info_4k_a:# 获取urlurl = a.find("img")["src"]url_list.append(f"{INDEX_URL}{url}")return url_list

PyQuery+正则处理

直接定位.nav-m 类属性
发现数据堆在一条中，利用正则获取url、title（通用方法.*?）

def get_4k_url(source_code):doc = pq(source_code)info_4k = doc(".nav-m")# 利用正则获取相关信息process = re.compile(r'<a href="(?P<url>.*?)" .*?>(?P<title>.*?)</a>',re.S)# 将html转为字符串result = process.finditer(str(info_4k))# 定义字典进行存储pic_dict = {}for img in result:title = img.group("title")url = img.group("url")if url.startswith("/"):pic_dict[title] = f"{INDEX_URL}{url}"return pic_dict

这里4k手机壁纸的类属性不一样，做了个判定处理
通过点位.slist/.alist 属性,再其定位li标签，获取img中的src

def get_img_url(url):# 返回每一4k类型具体图片urlcode = process_index(url)doc = pq(code)# 处理部分特殊（4k手机壁纸）if url == "http://pic.netbian.com/shoujibizhi/":ul = doc(".alist li")else:ul = doc(".slist li")# 获取urlurl_list = []for li in ul.items():url = li("img").attr("src")url_list.append(f"{INDEX_URL}{url}")return url_list

四、运行效果

源码附在在知识星球-网络爬虫模块内
https://t.zsxq.com/077MNvfYJ

Python批量获取4K图片相关推荐

python爬虫实战：批量获取VCG图片
文章目录前言一.说明二.获取网页路径三.获取图片下载URL 四.批量下载图片五.完整代码六.效果展示前言当前对版权保护日益严格,因此在此说明获取的图像仅做研究和个人学习使用,禁止用作商 ...
Python批量重命名图片
Python批量重命名图片 # -*- coding:utf8 -*-import osclass BatchRename():'''批量重命名文件夹中的图片文件'''def __init__(sel ...
python批量旋转裁剪图片实战
python批量旋转裁剪图片实战引子有一本PDF电子书,由扫描的图片生成的,每页的截图看起来如下图: 它是展开扫描的,两页并列在一张图片上.并且每页又是分两栏,这样的PDF在手机.平板上,需要放大 ...
【ArcGIS遇上Python】python批量获取栅格数据四至（top，bottom，left，right）坐标代码
上图所示为ArcGIS自带的影像数据,存放路径为C:\Program Files (x86)\ArcGIS\Desktop10.6\ArcGlobeData\wsiearth.tif",在源 ...
python经纬度获取县名_利用 Python 批量获取县镇运输距离
起因最近做规划项目,领导让查出某几个市的所有乡镇级行政区域,距离所在县级行政中心的交通运输距离.想着也不是啥难事儿,高德地图一搜就有. 当我把各市行政区划统计完,发现一共有五百多个乡镇,意味着要在地 ...
Python爬虫 | Python爬虫获取女友图片
Python爬虫 | Python爬虫获取女友图片前言程序说明二次元女友获取程序观察网页结构页面解析创建图片保存路径图片下载格式转换爬取结果展示完整程序前言 (又到了常见的无中生 ...
极速系列04—python批量获取word/PDF/网页中的表格
这里写目录标题 1 python批量获取word中的表格目的: 1.1 简介 1.2 读取word文档内容方法一方法二 2 python批量获取PDF中的表格目的: 2.1 简介 2.2 读取 ...
用python批量获取cad中线段点组成的凸包 + 面积
用python批量获取cad中线段点组成的凸包 + 面积效率实在太低,还是用c# 吧 import win32com.client import pythoncom import tubao imp ...
Python 批量获取今日头条街拍美图
大家好,在以前的文章中我们学了Ajax数据获取,这篇文章我们以今日头条为例,通过分析Ajax请求来抓取今日头条的街拍美图,并将图片下载到本地保存下来. 准备好没,我们现在开始!喜欢记得收藏.点赞.关注 ...

Python批量获取4K图片

文章目录

前言

一、需求

二、分析

1、Ctrl+U 查看网页源代码

2、进一步分析

三、处理

Bs4 +正则处理

PyQuery+正则处理

四、运行效果

Python批量获取4K图片相关推荐

最新文章

热门文章