Python实战社群

Java实战社群

长按识别下方二维码，按需求添加

扫码关注添加客服

进Python社群▲

扫码关注添加客服

进Java社群▲

作者：叶庭云

来源：凹凸数据

作者：叶庭云

CSDN：https://blog.csdn.net/fyfugoyfa

疲惫的生活里总要有些温柔梦想吧

目标URL：http://www.win4000.com/meinvtag4_1.html

爬取美桌网某个标签下的美女壁纸，点进详情页可以发现，里面是一组套图

一、网页分析

翻页查看 URL 变化规律：

http://www.win4000.com/meinvtag4_1.html
http://www.win4000.com/meinvtag4_2.html
http://www.win4000.com/meinvtag4_3.html
http://www.win4000.com/meinvtag4_4.html
http://www.win4000.com/meinvtag4_5.html

页面里看到的每张图片点击进去有详情页，里面是套图

详情页里套图URL变化规律：

http://www.win4000.com/meinv216987_1.html
http://www.win4000.com/meinv216987_2.html
http://www.win4000.com/meinv216987_3.html

在网页源代码中也可以直接找到数据：

图片名称  下载链接
性感美女肌肤雪白撩人写真图片
http://pic1.win4000.com/pic/8/e0/24b989d57c.jpg

二、爬虫基本思路

1. 获取5页的套图的URL

def get_taotu_url():for i in range(1, 6):url = f'http://www.win4000.com/meinvtag4_{i}.html'headers = {'User-Agent': choice(user_agent)}# 发送请求  获取响应rep = requests.get(url, headers=headers)# print(rep.status_code)    状态码  200# print(rep.text)html = etree.HTML(rep.text)taotu_url = html.xpath('//div[@class="tab_tj"]/div/div/ul/li/a/@href')# 过滤掉无效的urltaotu_url = [item for item in taotu_url if len(item) == 39]# 一个页面有24个图片print(taotu_url, len(taotu_url), sep='\n')

2. 进入套图详情页爬取图片

def get_img(url):headers = {'User-Agent': choice(user_agent)}# 发送请求  获取响应rep = requests.get(url, headers=headers)# 解析响应html = etree.HTML(rep.text)# 获取套图名称   最大页数name = html.xpath('//div[@class="ptitle"]/h1/text()')[0]os.mkdir(r'./女神套图/{}'.format(name))max_page = html.xpath('//div[@class="ptitle"]/em/text()')# 字符串替换  便于之后构造url请求url1 = url.replace('.html', '_{}.html')for i in range(1, int(max_page[0]) + 1):url2 = url1.format(i)sleep(randint(1, 3))reps = requests.get(url2, headers=headers)dom = etree.HTML(reps.text)src = dom.xpath('//div[@class="main-wrap"]/div[1]/a/img/@data-original')[0]file_name = name + f'第{i}张.jpg'img = requests.get(src, headers=headers).contentwith open(r'./女神套图/{}/{}'.format(name, file_name), 'wb') as f:f.write(img)print(f'成功下载图片：{file_name}')

3. 完整代码实现

完整代码下载链接（或点击阅读原文）：

https://alltodata.cowtransfer.com/s/51b7cb0574304c

运行效果如下：

程序运行一会，图片就全部爬取下来保存在本地文件夹，5页的120组套图，美滋滋。

四、其他说明

• 不建议抓取太多数据，容易对服务器造成负载，浅尝辄止即可。

• 通过本文爬虫，可以帮助你了解套图的爬取，如何通过字符串的拼接来构造URL请求。

• 本文利用 Python 爬虫实现批量下载女神套图，实现过程中也会遇到一些问题，多思考和调试，最终解决问题，也能理解得更深刻。

• 代码可直接复制运行，如果觉得还不错，记得给个赞哦，也是对作者最大的鼓励，不足之处可以在评论区多多指正。

  

程序员专栏 扫码关注填加客服 长按识别下方二维码进群

近期精彩内容推荐：  

 程序员买房前后对比，看完后已哭瞎...

 内部泄露版！互联网大厂的薪资和职级一览

 Google 出品的 Java 编码规范

 Python编程 高阶函数使用技巧

在看点这里好文分享给更多人↓↓