Python【爬虫实战】爬取美女壁纸资源
Python【爬虫实战】爬取美女壁纸资源
一:首先选取一个网站,这里我们选择了一个壁纸网站
二:进入网站,我们可以看到很多图片放在一页里
三:按下F12开发者工具,点击Elments查看网页的代码
四:按住左上角箭头,并点击网页中的图片找到图片所在代码的地方
五:知道这些后我们可以开始进行代码填写了
1、首先我们需要使用的是爬虫的常见库requests来获取HTML网页的代码,下面展示一些 内联代码片。
import requestsurl = 'https://www.h128.com/pc/anime/0/2/1920x1080/t/1.html' #网页的网址headers = { "user-
agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149
Safari/537.36"} #加入请求头r = requests.get(url,headers = headers) #getr.raise_for_status()r.encoding =
r.apparent_encodingprint(r.text)
2、获得了HTML网页的代码后,我们要想方法去获得图片所在位置,这时候我们使用我们的第二个库,
下面展示一些 内联代码片。
a = re.findall('<img src="https:(.*?)" alt',r.text) #(.*?)表示任意的字符串
让我们来看看返回的值是什么
我们发现爬取到的并不是图片,所以我们回过头看发现原来的图片前面有https:之后我们加入代码
x = 'https:' + i
六:最后我们把图片爬取到电脑上
root = "D://pics1//" path = root + url.split('?')[0].split('/')[-1] #图片的名字更改 with open(path, 'wb') as f: f.write(r.content) f.close() print("文件已保存成功")
看看下载的图片
发现图片的规格不是原图,比较原图
下载的图☝☝☝
原图☝☝☝
发现w和h后面的参数有所差异,使用replace函数进行更改,最后运行代码查看
最后爬虫完毕,这次的爬虫只能爬取一页,如果爬取多页,可以用列表存取,如果要效率更高,到后来可以使用多线程爬虫。
最后上完整代码,下面展示一些,内联代码片。
headers = { "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36"} #加入请求头r = requests.get(url,headers = headers)
#getr.raise_for_status()r.encoding = r.apparent_encoding#print(r.text)a = re.findall('<img src="https:(.*?)" alt',r.text) #(.*?)表示任意的字符串for i in a: #print(i) url = 'https:' + i url = url.replace('w_487', 'w_1421').replace('h_274', 'h_799') #print(x) r = requests.get(url,headers = headers) root = "D://pics1//"#保存在D盘的pics1里,这里要提前建好文件夹 path = root + url.split('?')[0].split('/')[-1] #图片的名字更改 with open(path, 'wb') as f: f.write(r.content) f.close() print("文件已保存成功")
Python【爬虫实战】爬取美女壁纸资源相关推荐
- Python爬虫实战爬取租房网站2w+数据-链家上海区域信息(超详细)
Python爬虫实战爬取租房网站-链家上海区域信息(过程超详细) 内容可能有点啰嗦 大佬们请见谅 后面会贴代码 带火们有需求的话就用吧 正好这几天做的实验报告就直接拿过来了,我想后面应该会有人用的到吧 ...
- python爬虫实战---爬取大众点评评论
python爬虫实战-爬取大众点评评论(加密字体) 1.首先打开一个店铺找到评论 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多 ...
- python爬虫实战-爬取视频网站下载视频至本地(selenium)
#python爬虫实战-爬取视频网站下载视频至本地(selenium) import requests from lxml import etree import json from selenium ...
- python爬虫实战-爬取微信公众号所有历史文章 - (00) 概述
http://efonfighting.imwork.net 欢迎关注微信公众号"一番码客"获取免费下载服务与源码,并及时接收最新文章推送. 最近几年随着人工智能和大数据的兴起,p ...
- python爬虫实战--爬取猫眼专业版-实时票房
小白级别的爬虫入门 最近闲来无事,发现了猫眼专业版-实时票房,可以看到在猫眼上映电影的票房数据,便验证自己之前学的python爬虫,爬取数据,做成.svg文件. 爬虫开始之前 我们先来看看猫眼专业版- ...
- Python爬虫实战- 爬取整个网站112G-8000本pdf epub格式电子书下载
(整个代码附在最后) 目录: 爬虫准备 - 某电子书网站内容架构分析 爬虫前奏 - 网站Html代码分析,如何获取需要的链接? 爬虫高潮 - 测试是否有反爬虫措施,测试是否能正常下载一个sample ...
- python爬虫实战-爬取小说
今天做一个爬虫练手的小实战:爬取顶点小说网的小说,实现下载到本地(虽然网站上本来就可以下载,不过还是自己写代码来有成就感嘛!) 爬取网站 进入官网后,点击元尊,就爬取这本书了. 我们先把整个网页爬下来 ...
- python爬虫实例--爬取电脑壁纸
目录 前言 一.用到的工具 二.爬取步骤与过程 1.用到的库 2.解析代码 三.最后上全部的代码啦 最后感悟 前言 听说好的编程习惯是从写文章敲代码开始的,下面给大家介绍一个简单的python爬取图片 ...
- Python爬虫实战——爬取RUNOOB.COM的Python3教程
说明 关于Python开发环境搭建,可参考博主的另一篇博文-Visual Studio 2017搭配OpenCV之Python环境,省去其中的OpenCV配置及安装即可.另外,在做Python爬虫项目 ...
最新文章
- 挑战NLP、量子计算难题,300多支本科生队伍同场角逐,2020 ASC超算竞赛一触即发...
- 为什么现在改用int.TryParse了
- 一位互联网老兵分享,社会化运营案例解析(宜信内部干货)
- 去除表单元素的默认样式
- Windows下安装Object C开发环境,及Hello Word(转)
- 【网址收藏】windows安装Docker Desktop常见问题整理
- ts可展开注释_TS语法之装饰器(注解)
- 安卓安装kali linux之Termux
- Oracle和MySQL的几点区别
- 理想汽车致歉并宣布召回10469台车,官方:不影响后续生产和销售
- HTML5移动开发即学即用(双色)
- Hadoop的eclipse1.1.2插件的安装和配置
- java三级分销_java版微信三级分销完整源码
- ESXI7.0主机安装群晖DS3617xs
- C# 创建 Word 并另存为PDF格式
- 小刘同学的第一百二十二篇博文
- Android 获取应用「唯一标识符」——DeviceID「兼容android 10(Q)」
- Linux系统管理(一)基础管理
- 二次函数图像如何用计算机绘制,如何快速画二次函数图像
- 字节跳动校招笔试题汇总