python爬虫2——下载文件(中华网图片库下载)

# -*- coding: utf-8 -*-
import requests
import re
import sys
reload(sys)
sys.setdefaultencoding('utf-8')if __name__ == '__main__':url = 'http://photostock.china.com.cn/Web_CHN/SpecialTopicPhoto.aspx?Id=296'html = requests.get(url)img_src = re.findall('<img alt=.*?src="..(.*?)".*?/>', html.text, re.S)imgUrl = []for each_src in img_src:imgUrl.append("http://photostock.china.com.cn" + each_src)picName = 100for each in imgUrl:imgContext = requests.get(each).contentwith open("lovelyAnimals/" + str(picName) + ".jpg", "wb") as code:code.write(imgContext)picName += 1'''
下载文件的3种方法
(1): 使用urllib.urlretrieve方法，可在callbackfunc函数中显示下载进度
def callbackfunc(blocknum, blocksize, totalsize):# 回调函数# @blocknum:#     已经下载的数据块# @blocksize:#     数据块的大小# @totalsize:#     远程文件的大小percent = 100.0 * blocknum * blocksize / totalsizeif percent > 100:percent = 100print "%.2f%%"% percent
url = 'http://www.sina.com.cn'
local = 'lovelyAnimals/sina.html'
urllib.urlretrieve(url, local, callbackfunc)(2):使用urllib2.urlopen
import urllib2
url = 'http://www.sina.com.cn'
f = urllib2.urlopen(url)
data = f.read()
with open("lovelyAnimals/sina.html", "wb") as code:code.write(data)(3):使用requests模块
import requests
url = 'http://www.sina.com.cn'
html = requests.get(url)
with open("lovelyAnimals/sina.html", "wb") as code:code.write(html.content)
'''

转载于:https://www.cnblogs.com/everSeeker/p/5014843.html

python爬虫2——下载文件(中华网图片库下载)相关推荐

python爬虫--王者荣耀高清壁纸下载（多线程）
下面的代码是采用多线程的生产者消费者模式,下载速度比之前文章的普通下载快一点. 普通下载的链接:python爬虫–王者荣耀高清壁纸下载代码在下载方面是没有问题的,可以直接运行,就是在收集打不开链接的 ...
python实现http下载文件-Python HTTP下载文件并显示下载进度条功能的实现
下面的Python脚本中利用request下载文件并写入到文件系统,利用progressbar模块显示下载进度条. 其中利用request模块下载文件可以直接下载,不需要使用open方法,例如: im ...
python爬虫实战-爬取视频网站下载视频至本地(selenium)
#python爬虫实战-爬取视频网站下载视频至本地(selenium) import requests from lxml import etree import json from selenium ...
python如何实现下载文件_python实现下载文件的三种方法
python实现下载文件的三种方法 Python开发中时长遇到要下载文件的情况,最常用的方法就是通过Http利用urllib或者urllib2模块. 当然你也可以利用ftplib从ftp站点下载文件. ...
成功解决百度网盘下载文件时遇到下载总进度一直处于99.9%，显示一直下载不下来的问题
成功解决百度网盘下载文件时遇到下载总进度一直处于99.9%,显示一直下载不下来的问题目录解决问题解决思路解决方法解决问题百度网盘下载文件时遇到下载总进度一直处于99.9%,显示一直下载 ...
Vue 通过url下载文件并对下载的文件更名
Vue 通过url下载文件并对下载的文件更名 HTML如下: <div @click="downloadFile(url,name)">点击下载</div> ...
img绝对路径图片显示_使用python爬虫去风景图片网站批量下载图片
使用python爬虫(requests,BeautifulSoup)去风景图片网站批量下载图片 1.写代码背景: 今天闲来无事,想弄点图片放到电脑,方便以后使用,故去百度查找一些风景图片网站,发现图片 ...
python爬虫爬取网易云音乐下载_Python爬虫实践-网易云音乐！没有版权又如何！照样爬取！...
1.前言最近,网易的音乐很多听不到了,刚好也看到很多教程,跟进学习了一下,也集大全了吧,本来想优化一下的,但是发现问题还是有点复杂,最后另辟捷径,提供了简单的方法啊! 本文主要参考 python编写 ...

python爬虫2——下载文件(中华网图片库下载)

python爬虫2——下载文件(中华网图片库下载)相关推荐

最新文章

热门文章