代码:

import re

import os

import requests

import time

global PhotoNum

PhotoNum = 0

PWD = "D:/work/python/pic/huaban/"

head = {'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}

TimeOut = 30

url = "http://huaban.com/favorite/beauty/"

url_image = "http://hbimg.b0.upaiyun.com/"

urlNext = "http://huaban.com/favorite/beauty/?iqkxaeyv&limit=20&wfl=1&max="

def downfile(file, url):

print("开始下载:", file, url)

try:

r = requests.get(url, stream=True)

with open(file, 'wb') as fd:

for chunk in r.iter_content():

fd.write(chunk)

except Exception as e:

print("下载失败了", e)

def requestpageText(url):

try:

Page = requests.session().get(url, headers=head, timeout=TimeOut)

Page.encoding = "utf-8"

return Page.text

except Exception as e:

print("联网失败了...重试中", e)

time.sleep(5)

print("暂停结束")

requestpageText(url)

def requestUrl(url):

global PhotoNum

print("*******************************************************************")

print("请求网址:", url)

text = requestpageText(url)

pattern = re.compile('{"pin_id":(\d*?),.*?"key":"(.*?)",.*?"like_count":(\d*?),.*?"repin_count":(\d*?),.*?}', re.S)

items = re.findall(pattern, text)

print(items)

max_pin_id = 0

for item in items:

max_pin_id = item[0]

x_key = item[1]

x_like_count = int(item[2])

x_repin_count = int(item[3])

if (x_repin_count > 10 and x_like_count > 10) or x_repin_count > 100 or x_like_count > 20:

print("开始下载第{0}张图片".format(PhotoNum))

url_item = url_image + x_key

filename = PWD + str(max_pin_id) + ".jpg"

if os.path.isfile(filename):

print("文件存在:", filename)

continue

downfile(filename, url_item)

PhotoNum += 1

requestUrl(urlNext + max_pin_id)

if not os.path.exists(PWD):

os.makedirs(PWD)

requestUrl(url)

下载效果:

原文链接:https://blog.csdn.net/sl01224318/article/details/110264107

python花瓣网爬取图片_花瓣网图片爬取相关推荐

  1. java 爬取图片_使用Java多线程爬取网站图片

    使用Java爬取网站的图片并保存至本地 使用maven导入依赖org.jsoup jsoup 1.11.2 实现代码:import org.jsoup.HttpStatusException; imp ...

  2. python内网穿透 开源_内网穿透神器-Serveo

    Serveo.net 如果访问不了,可以看文章后面的官网截图. Serveo 的功能:将局域网内的服务端口开放到因特网上,实现通过外网访问内网的需求:在 Setveo 官网 https://serve ...

  3. python爬虫怎么爬取图片_怎么用python爬取网站Jpg图片

    用python爬取网站图片,通过引用requests库就可完成.下面,小编将以爬取百度图片为例 工具/原料 python环境,网络 安装requests库 1 cmd打开命令行界面,输入pip ins ...

  4. python爬虫携程酒店_携程酒店爬取分享

    该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 import urllib.request from bs4 import BeautifulSoup import csv import re def ...

  5. 口袋网咖已有服务器在使用怎么注销,口袋网咖_口袋网咖常见问题_口袋网咖专区...

    口袋网咖是专门为游戏高玩打造的手机变电脑软件,虚拟电脑神器,体验各种电脑游戏,非常的方便,能让小伙伴尽情的体验手机电脑的感觉,很多小伙伴在使用过程中遇到了一些问题,快啦网为大家分享口袋网咖常见问题,一 ...

  6. 口袋网咖已有服务器在使用怎么注销,口袋网咖_口袋网咖常见问题_口袋网咖推荐_快啦网...

    简介: 口袋网咖是专门为游戏高玩打造的手机变电脑软件,虚拟电脑神器,体验各种电脑游戏,对手机配置要求真的不高哦.快啦网为大家分享口袋网咖专区,一起来看看吧~ 口袋网咖介绍 口袋网咖免费版--用手机可以 ...

  7. Python Selenium+Requests爬虫[双线程]--今日头条图片爬取【亲测能行!!!】

    码前冷静分析 首先需要准备好selenium.requests库以及Chromedriver 这个就不细说了,有很多博客可以参考 然后讲一下大体思路 首先搜索想要爬取图片的关键词 - 接着是" ...

  8. Python爬虫入门教程 26-100 知乎文章图片爬取器之二

    1. 知乎文章图片爬取器之二博客背景 昨天写了知乎文章图片爬取器的一部分代码,针对知乎问题的答案json进行了数据抓取,博客中出现了部分写死的内容,今天把那部分信息调整完毕,并且将图片下载完善到代码中 ...

  9. 小红书主页爬取_小红书图片爬取下载-小红书图片爬取便携版

    小红书图片爬取是一款针对小红书图片下载软件.该软件虽然小巧,功能也不多,但是非常实用,该软件的使用不仅可以让用户快速浏览图片,还能快速爬取下载小红书某条链接中所有图片的软件.如有需要欢迎下载使用! 软 ...

  10. 如何用python爬视频_科学网—利用python爬取一个小视频 - 李鸿斌的博文

    工具 : requests 库 解析: beautifulsoup 任务: 视频抓取 1,分析目标网站 寻找一个虚拟的头文件 User-Agent: Mozilla/5.0 (Windows NT 6 ...

最新文章

  1. JVM最多支持多少个线程?
  2. 原理解释|直觉与实现:Batch Normalization
  3. [YTU]_2560(C++继承(改错题))
  4. Java 泛型背后的原理是什么?
  5. WPF的ProgressBar进度条
  6. Spring JdbcTemplate+JdbcDaoSupport实例
  7. 实时计算pv/uv Demo
  8. php读取ds18b20,DS18B20_单总线协议
  9. 的不定积分_不定积分大集合——方法篇
  10. 【观察】从实践到赋能再到引领,华为释放数据中心无限潜
  11. 移动通信原理学习笔记之一
  12. xray搭建代理服务器
  13. 【Proteus仿真】CD4026秒脉冲0-9循环计数
  14. sin(a-b)=sina*cosb-sinb*cosa的推导过程
  15. 【原理图和PCB】基于单片机的超声波测距仪设计
  16. 汽车零部件行业PLM解决方案
  17. 【公开课】国内外公开课网址
  18. 用两个小例子来解释单例模式中的“双重锁定”
  19. PI Planning
  20. 基于Simulink的自适应模糊控制器.

热门文章

  1. 猎豹网校java版算法_猎豹网校JAVA语言数据结构与算法视频教程 Java语言
  2. 思科模拟器配置路由表详细教程
  3. OPPO R9S线刷
  4. nand flash 读写测试
  5. SQL Server各版本官方下载地址
  6. 一些不为人知的秘密[迅雷和快播]
  7. 同济大学计算机学硕无人录取,2019年双非上岸同济大学计算机考研初复试经验分享,超详细!...
  8. 千里达v1000时速_20速碳纤维山地车千里达V1000评测
  9. 计算机启动dos,开机怎么进入dos_开机怎么进入dos界面
  10. c语言编程 碰撞的小球,小球碰撞游戏程序代码,求注释,越详细越好》》》