python下载图片代码并解析_Python爬取小姐姐图片代码_批量下载
本帖最后由 OnlineYx 于 2021-1-13 14:44 编辑
我试着改了一下,写了个循环和判断,输出起始网页的ID和结束网页的ID就能批量地下载小姐姐了。
001.png (83.38 KB, 下载次数: 0)
2021-1-12 18:46 上传
002.jpg (286.07 KB, 下载次数: 0)
2021-1-12 18:47 上传
003.jpg (260.96 KB, 下载次数: 0)
2021-1-12 18:47 上传
004.jpg (194.1 KB, 下载次数: 0)
2021-1-12 18:47 上传
[Python] 纯文本查看 复制代码import os
import time
import requests
import re
headers = {
'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
'Accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
'Accept-Encoding': 'gzip',
"Referer": "https://www.baidu.com/"
}
httpnum = int(input("请输入爬取网页的起始ID:"))
httpnum1 = int(input("请输入爬取网页的结束ID:"))
for i in range(httpnum,httpnum1+1):
httpurl = "https://www.vmgirls.com/{0}.html".format(i)
response = requests.get(httpurl, headers=headers)
html = response.text
if str("
continue
else:
dir_name = re.findall('
(.*?)
', html)[-1]
if not os.path.exists(dir_name):
os.mkdir(dir_name)
urls = re.findall('', html)
for url in urls:
time.sleep(1)
name = url.split('/')[-1]
response = requests.get("https:" + url, headers=headers)
print(name + "正在下载")
with open(dir_name + '/' + name, 'wb') as f:
f.write(response.content)
print("{0}下载完毕".format(i))
print("全部下载完毕")
-------------------------------------------------------------------------
刚刚又稍微改了一下代码,在目录前加上一个网页ID
[Python] 纯文本查看 复制代码dir_name0 =re.findall('
(.*?)
', html)[-1]
dir_name=str(i)+dir_name0
001.png (49.7 KB, 下载次数: 0)
2021-1-13 10:56 上传
-------------------------------------------------------------------------
再次完善(关于正则部分)
爬取网页ID为12000之后的图片没有什么问题。
以网页ID12985为例
它的网页源代码图片部分是这样
003.png (43.48 KB, 下载次数: 0)
2021-1-13 14:35 上传
但是在ID12000之前的网页,图片部分的源代码是这样
004.png (48.75 KB, 下载次数: 0)
2021-1-13 14:39 上传
所以还需要加一个判断才能爬取到网页ID12000之前的图片
[Python] 纯文本查看 复制代码urls = re.findall('
if len(urls)==0:
urls = re.findall('', html)
python下载图片代码并解析_Python爬取小姐姐图片代码_批量下载相关推荐
- python爬虫获取图片无法打开或已损坏_Python爬取小姐姐图片
爬取图片主要分为一下几步: 1.打开一个你喜欢的小姐姐的网站 2.下载并安装python环境 3.开始编码 python 全部代码如下 # requests 请求 需要提前在Terminal中安装 p ...
- Python爬取小姐姐图片
使用Python爬取小姐姐图片 首先上网站链接 唯美女生 爬取图片主要分为一下几步: 1.打开一个你喜欢的小姐姐的网站 E.g xiaojiejie web 2.下载并安装python环境 pytho ...
- python爬虫 爬取小姐姐图片
前言 大致熟悉了python的基础语法以后,开始学习爬虫基础. 一.爬取前的准备工作 python3.7环境(只要是python3版本都可以): 依赖包 : time requests re (缺少包 ...
- java 爬虫 图片_java实现爬虫爬取小姐姐图片
一.导入jsoup的maven依赖 org.jsoup jsoup 1.8.3 二.运行代码 也可以自定义爬取的网站这里就以https://gank.io/special/Girl为例 package ...
- 数据获取网络爬虫之--爬取小姐姐图片
运行环境: python3+jupyter notebook 可直接运行 代码下载地址: https://download.csdn.net/download/weixin_44754046/1122 ...
- Python爬虫框架 scrapy 入门经典project 爬取校花网资源、批量下载图片
####1.安装scrapy 建议:最好在新的虚拟环境里面安装scrapy 注意:博主是在 Ubuntu18.04 + Python3.6 环境下进行开发的,如果遇到安装scrapy不成功请自行百度/ ...
- python爬虫爬取小姐姐图片(5762张)
接触爬虫的第一天 第一步:现将python环境搭建好,工欲利其事必先利其器! 第二步:寻找目标网站,我选择的网站是http://www.win4000.com,里面有一个美女板块,里面有各种小姐姐的照 ...
- Beautifulsoup+正则表达式多线程爬取小姐姐图片
源码: import requests from requests.exceptions import RequestException from multiprocessing import Poo ...
- python最新官网图片_python爬取福利网站图片完整代码
存起来 自己学习... import requests,bs4,re,os,threading class MeiNvTu: def __init__(self): self.url_main='ht ...
最新文章
- docker与虚拟机的对比
- 熊掌号指数2.0常见问题汇总
- netty 粘包的解决策略
- 李嘉诚再卖地3800亩,房价要变天了吗?
- ReactNative组件导出
- mormot json操作
- (数论)51NOD 1136 欧拉函数
- 炫酷报表制作工具:RDP报表工具
- 泛函分析笔记08:有界线性算子和泛函介绍与共鸣定理
- 6.28lol服务器维护,LOL6月28日无法连接至验证服务怎么回事 6.28进不去游戏怎么办?...
- 元件之AT24CXX
- Android 截屏并保存到本地(兼容Android 10.0)
- 从大学毕业的迷茫,到现在拿到高薪,感谢爱创课堂的老师
- windows聚焦壁纸不更新_Win10系统下聚焦锁屏壁纸无法自动更换怎么解决
- Vue表单数据修改与删除
- (附源码)计算机毕业设计SSM大学生互动交流论坛
- 测试用例-微信消息撤回
- C# Winform 计算机原理模型机的设计——带超前进位加法器
- ROS 代码去掉 ROS 依赖
- 三星9300 Kies 升级包 存储