python花瓣网爬取图片_花瓣网图片爬取
代码:
import re
import os
import requests
import time
global PhotoNum
PhotoNum = 0
PWD = "D:/work/python/pic/huaban/"
head = {'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
TimeOut = 30
url = "http://huaban.com/favorite/beauty/"
url_image = "http://hbimg.b0.upaiyun.com/"
urlNext = "http://huaban.com/favorite/beauty/?iqkxaeyv&limit=20&wfl=1&max="
def downfile(file, url):
print("开始下载:", file, url)
try:
r = requests.get(url, stream=True)
with open(file, 'wb') as fd:
for chunk in r.iter_content():
fd.write(chunk)
except Exception as e:
print("下载失败了", e)
def requestpageText(url):
try:
Page = requests.session().get(url, headers=head, timeout=TimeOut)
Page.encoding = "utf-8"
return Page.text
except Exception as e:
print("联网失败了...重试中", e)
time.sleep(5)
print("暂停结束")
requestpageText(url)
def requestUrl(url):
global PhotoNum
print("*******************************************************************")
print("请求网址:", url)
text = requestpageText(url)
pattern = re.compile('{"pin_id":(\d*?),.*?"key":"(.*?)",.*?"like_count":(\d*?),.*?"repin_count":(\d*?),.*?}', re.S)
items = re.findall(pattern, text)
print(items)
max_pin_id = 0
for item in items:
max_pin_id = item[0]
x_key = item[1]
x_like_count = int(item[2])
x_repin_count = int(item[3])
if (x_repin_count > 10 and x_like_count > 10) or x_repin_count > 100 or x_like_count > 20:
print("开始下载第{0}张图片".format(PhotoNum))
url_item = url_image + x_key
filename = PWD + str(max_pin_id) + ".jpg"
if os.path.isfile(filename):
print("文件存在:", filename)
continue
downfile(filename, url_item)
PhotoNum += 1
requestUrl(urlNext + max_pin_id)
if not os.path.exists(PWD):
os.makedirs(PWD)
requestUrl(url)
下载效果:
原文链接:https://blog.csdn.net/sl01224318/article/details/110264107
python花瓣网爬取图片_花瓣网图片爬取相关推荐
- java 爬取图片_使用Java多线程爬取网站图片
使用Java爬取网站的图片并保存至本地 使用maven导入依赖org.jsoup jsoup 1.11.2 实现代码:import org.jsoup.HttpStatusException; imp ...
- python内网穿透 开源_内网穿透神器-Serveo
Serveo.net 如果访问不了,可以看文章后面的官网截图. Serveo 的功能:将局域网内的服务端口开放到因特网上,实现通过外网访问内网的需求:在 Setveo 官网 https://serve ...
- python爬虫怎么爬取图片_怎么用python爬取网站Jpg图片
用python爬取网站图片,通过引用requests库就可完成.下面,小编将以爬取百度图片为例 工具/原料 python环境,网络 安装requests库 1 cmd打开命令行界面,输入pip ins ...
- python爬虫携程酒店_携程酒店爬取分享
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 import urllib.request from bs4 import BeautifulSoup import csv import re def ...
- 口袋网咖已有服务器在使用怎么注销,口袋网咖_口袋网咖常见问题_口袋网咖专区...
口袋网咖是专门为游戏高玩打造的手机变电脑软件,虚拟电脑神器,体验各种电脑游戏,非常的方便,能让小伙伴尽情的体验手机电脑的感觉,很多小伙伴在使用过程中遇到了一些问题,快啦网为大家分享口袋网咖常见问题,一 ...
- 口袋网咖已有服务器在使用怎么注销,口袋网咖_口袋网咖常见问题_口袋网咖推荐_快啦网...
简介: 口袋网咖是专门为游戏高玩打造的手机变电脑软件,虚拟电脑神器,体验各种电脑游戏,对手机配置要求真的不高哦.快啦网为大家分享口袋网咖专区,一起来看看吧~ 口袋网咖介绍 口袋网咖免费版--用手机可以 ...
- Python Selenium+Requests爬虫[双线程]--今日头条图片爬取【亲测能行!!!】
码前冷静分析 首先需要准备好selenium.requests库以及Chromedriver 这个就不细说了,有很多博客可以参考 然后讲一下大体思路 首先搜索想要爬取图片的关键词 - 接着是" ...
- Python爬虫入门教程 26-100 知乎文章图片爬取器之二
1. 知乎文章图片爬取器之二博客背景 昨天写了知乎文章图片爬取器的一部分代码,针对知乎问题的答案json进行了数据抓取,博客中出现了部分写死的内容,今天把那部分信息调整完毕,并且将图片下载完善到代码中 ...
- 小红书主页爬取_小红书图片爬取下载-小红书图片爬取便携版
小红书图片爬取是一款针对小红书图片下载软件.该软件虽然小巧,功能也不多,但是非常实用,该软件的使用不仅可以让用户快速浏览图片,还能快速爬取下载小红书某条链接中所有图片的软件.如有需要欢迎下载使用! 软 ...
- 如何用python爬视频_科学网—利用python爬取一个小视频 - 李鸿斌的博文
工具 : requests 库 解析: beautifulsoup 任务: 视频抓取 1,分析目标网站 寻找一个虚拟的头文件 User-Agent: Mozilla/5.0 (Windows NT 6 ...
最新文章
- JVM最多支持多少个线程?
- 原理解释|直觉与实现:Batch Normalization
- [YTU]_2560(C++继承(改错题))
- Java 泛型背后的原理是什么?
- WPF的ProgressBar进度条
- Spring JdbcTemplate+JdbcDaoSupport实例
- 实时计算pv/uv Demo
- php读取ds18b20,DS18B20_单总线协议
- 的不定积分_不定积分大集合——方法篇
- 【观察】从实践到赋能再到引领,华为释放数据中心无限潜
- 移动通信原理学习笔记之一
- xray搭建代理服务器
- 【Proteus仿真】CD4026秒脉冲0-9循环计数
- sin(a-b)=sina*cosb-sinb*cosa的推导过程
- 【原理图和PCB】基于单片机的超声波测距仪设计
- 汽车零部件行业PLM解决方案
- 【公开课】国内外公开课网址
- 用两个小例子来解释单例模式中的“双重锁定”
- PI Planning
- 基于Simulink的自适应模糊控制器.
热门文章
- 猎豹网校java版算法_猎豹网校JAVA语言数据结构与算法视频教程 Java语言
- 思科模拟器配置路由表详细教程
- OPPO R9S线刷
- nand flash 读写测试
- SQL Server各版本官方下载地址
- 一些不为人知的秘密[迅雷和快播]
- 同济大学计算机学硕无人录取,2019年双非上岸同济大学计算机考研初复试经验分享,超详细!...
- 千里达v1000时速_20速碳纤维山地车千里达V1000评测
- 计算机启动dos,开机怎么进入dos_开机怎么进入dos界面
- c语言编程 碰撞的小球,小球碰撞游戏程序代码,求注释,越详细越好》》》