python爬取美女照片
爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并数据抓取下来,然后使用一定的规则提取有价值的数据。
1.爬取照片的目标网址是:http://www.netbian.com/mei/index.htm
可以通过F12检查元素,之后用小箭头点击图片,找到我们需要爬取图片的位置。
2.向网站发送请求
利用 requests 库向网站发出请求,发送 get 请求就是通过 requests.get 来调用:
respone = requests.get("http://www.netbian.com/mei/index.htmt")
3.数据提取
添加headers和查询参数:如果想添加 headers,可以传入headers参数来增加请求头中的headers信息.
在数据返回 Response
对象之后,通过respone.encoding = "gbk"设置了数据编码,该值可以从网页源码中获取到。
4.数据存储
利用write的读写功能,进行照片的存入。
f.write(content)
最终结果:
# -*- codeing = utf-8 -*-
# @Time : 2021/11/20 1:29
# @Author : ning
# @File : demo.main.py
# @software : PyCharmimport requests
import re #通过 re 模块解析,获取数据,利用正则表达式,进行文字匹配。
import time
import os# 模拟人向网站发送请求
def request_get(url, ret_type="text", timeout=5, encoding="gbk"):headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"}respone = requests.get(url=url, headers=headers, timeout=timeout)respone.encoding = encodingif ret_type == "text":return respone.textelif ret_type == "image":return respone.content# 获取网站地址的数据
def main():urls = [f"http://www.netbian.com/mei/index_{i}.htm" for i in range(1, 2)]url = "http://www.netbian.com/mei/index.htm"urls.insert(0, url)for url in urls:print("抓取图片的地址为:", url)text = request_get(url)format(text)# re模块解析函数
def format(text):origin_text = split_str(text, '<div class="list">', '<div class="page">')pattern = re.compile('href="(.*?)"')hrefs = pattern.findall(origin_text)hrefs = [i for i in hrefs if i.find("desk") > 0]for href in hrefs:url = f"http://www.netbian.com{href}"print(f"图片正在下载:{url}")text = request_get(url)format_detail(text)def split_str(text, s_html, e_html):start = text.find(s_html) + len(e_html)end = text.find(e_html)origin_text = text[start:end]return origin_textdef format_detail(text):origin_text = split_str(text, '<div class="pic">', '<div class="pic-down">')pattern = re.compile('src="(.*?)"')image_src = pattern.search(origin_text).group(1)# 保存图片save_image(image_src)# 将图片下载并存储
def save_image(image_src):content = request_get(image_src, "image") # request_get()方法获取图片with open(f"{str(time.time())}.jpg", mode="wb") as f:f.write(content) #f.write 存储图片print('图片下载成功!!!')#调用主程序
if __name__ == "__main__":main()
python爬取美女照片相关推荐
- python爬取美女图片的练习
python 爬取美女图片的练习 主要使用 xpath 定位获取 图片的链接 本次练习使用到os库 ,lmxl库 , requests库 import requests from lxml impor ...
- Python爬取美女主播图片适合初学者
Python爬取虎牙女主播图片,非常适合初学者,代码少,思路清晰 开发环境Pycharm import time import requests from lxml import etree from ...
- python 爬取网页照片!全代码!指定数量,指定目录,爬取过程详细!关于有下载照片过程但是不显示照片的问题的解释
作者:untilyouydc 原文:https://blog.csdn.net/qq_40774175/article/details/81273198 原博主解释比较详细,有些知识还附带上了链接解释 ...
- python爬取美女_Python爬取高颜值美女(爬虫+人脸检测+颜值检测)附学习教程
1 数据源 知乎话题『美女』下所有问题中回答所出现的图片 2 抓取工具 Python 3,并使用第三方库 Requests.lxml.AipFace,代码共 100 + 行 3 必要环境Mac / L ...
- 【爬虫实战】手把手教你使用python爬取美女图片
本文目录 写作缘起 上代码 思路分析 效果展示 写在最后 写作缘起 用python爬虫实现的图片资源下载器,一页页下载图片过于缓慢,当我们要欣赏一些好看的图片时一页页翻太复杂了,干脆写一个图片下载器 ...
- 宅男福利 用Python爬取美女图片
嘿嘿 召唤老色批 今天带大家爬去一下美女的图片 用的是requests和xpath去解析 获取网页和解析网页的函数 def get_tag(response,tag):html=etree.HTML( ...
- python爬取美女_知乎大神用Python爬取高颜值美女(Python爬虫+人脸检测+颜值检测)...
import time import os import re import requests from lxml import etree from aip import AipFace #百度云 ...
- python爬取美女头像
import os import re import requests import asyncio import aiohttpif not os.path.exists("./美女头像& ...
- 用python爬取美女图片
import urllib.request import os for i in range(2000, 2400): if not os.path.exists('tupian/' + str(i) ...
最新文章
- LED调光,PFM即pulse frequence modulation
- 电影院里为何有散落的青瓜?
- 2020研究生数学建模结果_关于举办2020年全国研究生数学建模大赛的通知
- Java状态和策略设计模式之间的差异
- 将字符串编码成 GBK
- 20140704笔试面试总结(java)
- 水平布局的HTML表单
- windows下注册和取消pg服务的命令
- Google 被祭天了!
- *-mapper.xml配置文件
- docker挂载目录
- 软件实施工程师到底是做什么的?
- ZKTime5.0 考勤管理系统设置
- 网络空间安全态势感知技术
- matlab里面求出两条曲线的交点问题
- php7生命周期,PHP 的生命周期与模块的sapi 原理
- python中------decode解码出现的0xca问题解决方法
- 基于ESP32+AMG8833的物联网红外成像测温枪
- 【新华三网络工程师】H3C如何配置三层组网技术
- Jenkins的Git配置