一、源码

import requests
import re
import osif not os.path.exists("./美图"):os.mkdir('./美图') # 当前路径下没有名为"美图"的文件夹则创建for p in range(2,5):headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36 Edg/97.0.1072.62 "}url="https://pic.netbian.com/4kdongman/index_{}.html".format(p) response1 = requests.get(url, headers=headers)content1 = response1.textimg_list=re.findall(r'img src="(.*?jpg)"', content1, re.S)url_img="https://pic.netbian.com"for i in range(len(img_list)):URL=url_img+img_list[i]print(URL)response2=requests.get(url=url_img,headers=headers)content2=response2.contentfilename="./美图/"+URL.split("/")[-1] # 取最后一个/后的数字串作为图片的名字，不易重复with open(filename,"wb") as fp:fp.write(content2)print("第{}页爬取完成".format(p))

二、在学习过程中可能会遇到的问题

问题1：正则表达式无法识别，什么都爬取不到

这个还真没什么好办法，只有多尝试去写正则表达式，并且写的正则表达式不要写太长，越长越容易出错，多试几次就能够成功了，也可以去别的大佬的文章下面观摩一下大佬们的代码是怎么写的。

【爬虫剑谱】二卷2章实战篇-精美动漫图片爬取并保存相关推荐

爬虫剑谱第十页（关于拼多多商品信息的爬取＜修改版＞）
关于此前发布了一篇关于爬取拼多多商品信息的博客:爬虫剑谱第七页(输入关键词爬取拼多多商品信息并进行保存)_独一无二的李狗蛋儿的博客-CSDN博客出现了问题,运行结束后无法返回数据,up主在这里重新进行 ...
【爬虫剑谱】二卷7章实战篇-搭建IP代理池绕过反爬检测
Python\网络爬虫\IP代理一.源代码二.实战总结 1.如何生成API链接 2. 如何获取API生成的IP 三.参考文献一.源代码 import requests import random ...
【爬虫剑谱】二卷4章实战篇-模拟登录铁路12306网站（滑块验证）
Python\网络爬虫\Selenium 一.源码二.实战总结问题一:不愿意代码模块化(常见于我这种菜狗+懒狗) 三.参考文献一.源码 from selenium import webdrive ...
Python 爬虫爬取豆瓣Top 250 并将海报图片爬取下来保存
本文章的所有代码和相关文章, 仅用于经验技术交流分享,禁止将相关技术应用到不正当途径,滥用技术产生的风险与本人无关. 本文章是自己学习的一些记录. 爬取豆瓣top 250 现在的很多学习的教程例子都是 ...
【Python网络爬虫实战篇】使用selenium+requests爬取下载高清源视频：关于爬取m3u8文件链接解析为ts视频合并成mp4视频的分析实战
这两天博主在摸鱼时,偶然间接触到了流媒体的概念,一时间来了兴致.再加上之前博主有着七.八年的视频制作经验,深知视频素材获取的不易.因此,打算利用自己所学的python网络爬虫的知识,通过编写代码实现获 ...
Python爬虫入门教程【4】：美空网未登录图片爬取
美空网未登录图片----简介上一篇写的时间有点长了,接下来继续把美空网的爬虫写完,这套教程中编写的爬虫在实际的工作中可能并不能给你增加多少有价值的技术点,因为它只是一套入门的教程,老鸟你自动绕过就可 ...
Scrapy实战篇（一）之爬取链家网成交房源数据（上）
今天,我们就以链家网南京地区为例,来学习爬取链家网的成交房源数据. 这里推荐使用火狐浏览器,并且安装firebug和firepath两款插件,你会发现,这两款插件会给我们后续的数据提取带来很大的方便. ...
scrapy爬取天气存MySQL_Scrapy实战篇（五）之爬取历史天气数据
本篇文章我们以抓取历史天气数据为例,简单说明数据抓取的两种方式: 1.一般简单或者较小量的数据需求,我们以requests(selenum)+beautiful的方式抓取数据 2.当我们需要的数据量较 ...
Python爬虫实战使用scrapy与selenium来爬取数据
系列文章目录实战使用scrapy与selenium来爬取数据文章目录系列文章目录前言一.前期准备二.思路与运行程序 1.思路 2.运行程序三.代码 1.代码下载 2.部分代码总结前言 ...

【爬虫剑谱】二卷2章实战篇-精美动漫图片爬取并保存

此次实战用到了的模块为requests、re、os。

一、源码

二、在学习过程中可能会遇到的问题

问题1：正则表达式无法识别，什么都爬取不到

【爬虫剑谱】二卷2章实战篇-精美动漫图片爬取并保存相关推荐

最新文章

热门文章

【爬虫剑谱】二卷2章 实战篇-精美动漫图片爬取并保存

此次实战用到了的模块为requests、re、os。

一、源码

二、在学习过程中可能会遇到的问题

问题1：正则表达式无法识别，什么都爬取不到

【爬虫剑谱】二卷2章 实战篇-精美动漫图片爬取并保存相关推荐

最新文章

热门文章

【爬虫剑谱】二卷2章实战篇-精美动漫图片爬取并保存

【爬虫剑谱】二卷2章实战篇-精美动漫图片爬取并保存相关推荐