用python批量下载网络图片_python批量下载图片的三种方法
一是用微软提供的扩展库win32com来操作IE:
win32com可以获得类似js里面的document对象,但貌似是只读的(文档都没找到)。
二是用selenium的webdriver:
selenium则提供了Chrome,IE,FireFox等的支持,每种浏览器都有execute_script和find_element_by_xx方法,可以方便的执行js脚本(包括修改元素)和读取html里面的元素。不足是selenium只提供对python2.6和2.7的支持。
三是用python自带的HTMLParser解析:
HTMLParser则是需要自己写个类继承基类,重写解析元素的方法。
1.win32com1 #将滚动条滑到底,最多滑动20000像素
2 #模拟键盘右键,查看多张图片
3 import sys
4 import win32com.client,win32api
5 import urllib.request
6 import time
7 import os
8 def main():
9 #获取参数
10 url=sys.argv[1]
11 #操作IE
12 ie=win32com.client.Dispatch("InternetExplorer.Application")
13 ie.Navigate(url)
14 ie.Visible=True
15 last_url=''
16 dir_name=''
17 while last_url!=url:
18 print('\nThe URL is:',url,'\n')
19 while ie.ReadyState != 4:
20 time.sleep(1)
21 while ie.Document.readyState != "complete":
22 time.sleep(1)
23 #滑动滚动条
24 win=ie.Document.parentWindow
25 lastY=-1;
26 for i in range(40):
27 win.scrollTo(0,500*i)
28 nowY=win.pageYOffset
29 if(nowY==lastY):
30 break
31 lastY=nowY
32 time.sleep(0.4)
33 print('Document load state:',ie.Document.readyState)
34 doc=ie.Document
35 #第一次需要创建目录
36 if(dir_name==''):
37 root_dir='E:\\img'
38 dir_name=root_dir+'\\'+doc.title
39 dir_name=dir_name.replace('|','-')
40 if(os.path.exists(root_dir)!=True):
41 os.mkdir(root_dir)
42 if(os.path.exists(dir_name)!=True):
43 os.mkdir(dir_name)
44 all_image=doc.images
45 print('共有',all_image.length,'张图片')
46 count=0;
47 for img in all_image:
48 if(img.id=='b_img'):
49 count=count+1
50 print(count,img.src)
51 time.sleep(1)
52 img_file=urllib.request.urlopen(img.src)
53 byte=img_file.read()
54 print(count,'donwload complete!','-'*10,'size:','{:.3}'.format(byte.__len__()/1024),'KB')
55 if(byte.__len__()>7000):
56 file_name=img.src.replace('/','_')
57 file_name=file_name.replace(':','_')
58 end=file_name.__len__()
59 if(file_name.rfind('!')!=-1):
60 end=file_name.rfind('!')
61 if(file_name.rfind('?')!=-1):
62 end=file_name.rfind('?')
63 file_name=file_name[:end]
64 write_file=open(dir_name+'\\'+file_name,'wb')
65 write_file.write(byte)
66 write_file.close()
67 print(count,file_name,'complete!')
68 #下一张
69 last_url=url
70 win32api.keybd_event(39,0)
71 time.sleep(1)
72 url=ie.Document.url
73 print(last_url,url)
74 #ie.Quit()
75 if __name__ == '__main__':
76 main()
2.selenium1 # -*- coding: cp936 -*-
2 import sys
3 import urllib
4 import time
5 import os
6 from selenium import webdriver
7 def main():
8 #获取参数
9 url=sys.argv[1]
10 #操作IE
11 driver=webdriver.Chrome()
12 driver.get(url)
13 driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
14 #创建目录
15 dir_name=driver.find_element_by_tag_name('title').text
16 print dir_name
17 root_dir='E:\\img'
18 dir_name=root_dir+'\\'+dir_name
19 dir_name=dir_name.replace('|','-')
20 if(os.path.exists(root_dir)!=True):
21 os.mkdir(root_dir)
22 if(os.path.exists(dir_name)!=True):
23 os.mkdir(dir_name)
24 images=driver.find_elements_by_tag_name('img')
25 count=0
26 for image in images:
27 count=count+1
28 image_url=str(image.get_attribute('src'))
29 img_file=urllib.urlopen(image_url)
30 byte=img_file.read()
31 print count,'donwload complete!','-'*10,'size:',byte.__len__()/1024,'KB'
32 if(byte.__len__()>7000):
33 file_name=image_url.replace('/','_')
34 file_name=file_name.replace(':','_')
35 end=file_name.__len__()
36 if(file_name.rfind('!')!=-1):
37 end=file_name.rfind('!')
38 if(file_name.rfind('?')!=-1):
39 end=file_name.rfind('?')
40 file_name=file_name[:end]
41 write_file=open(dir_name+'\\'+file_name,'wb')
42 write_file.write(byte)
43 write_file.close()
44 print count,file_name,'complete!'
45 driver.quit()
46 if __name__ == '__main__':
47 main()
3.HTMLParser:1 # import modules used here -- sys is a very standard one
2 import sys
3 import urllib.request
4 # Gather our code in a main() function
5 from html.parser import HTMLParser
6 class MyHTMLParser(HTMLParser):
7 def handle_starttag(self,tag,attrs):
8 if(tag=='img'):
9 for attr in attrs:
10 if(attr[0]=='src'):
11 img_file=urllib.request.urlopen(attr[1])
12 byte=img_file.read()
13 #文件大于1000b则生成文件,添加计数,下载多少图片,显示html代码
14 if(byte.__len__()>1000):
15 file_name=attr[1].replace('/','_')
16 file_name=file_name.replace(':','_')
17 end=file_name.__len__()
18 if(file_name.rfind('!')!=-1):
19 end=file_name.rfind('!')
20 if(file_name.rfind('?')!=-1):
21 end=file_name.rfind('?')
22 file_name=file_name[:end]
23 ## print(file_name)
24 write_file=open('E:\\img\\'+file_name,'wb')
25 write_file.write(byte)
26 write_file.close()
27 def main():
28 #获取参数
29 url=sys.argv[1]
30 print('\nThe URL is:',url,'\n')
31 #读取url所指向的资源
32 html_file=urllib.request.urlopen(url)
33 byte_content=html_file.read()
34 #将html网页保存起来
35 url_file=open('E:\\img\\html\\result.htm','wb')
36 url_file.write(byte_content)
37 url_file.close()
38 #从字节转换为字符串
39 s=str(byte_content, encoding = "utf-8")
40 #print(s)
41 #bytes.decode(html_file.read())
42 parser=MyHTMLParser(strict=False)
43 parser.feed(s)
44 # Standard boilerplate to call the main() function to begin
45 # the program.
46 if __name__ == '__main__':
47 main()
用python批量下载网络图片_python批量下载图片的三种方法相关推荐
- python怎么循环终止_Python 循环终止语句的三种方法小结
Python 循环终止语句的三种方法小结 在Python循环终止语句有三种: 1.break break用于退出本层循环 示例如下: while True: print "123" ...
- python连接数据库的技术_Python操作MySQL数据库的三种方法
(1) 什么是MySQLdb? MySQLdb 是用于 Python 连接 MySQL 数据库的接口,它实现了 Python 数据库 API 规范 V2.0,基于 MySQL C API 上建立的. ...
- 测试Python下载图片的三种方法
简 介: 通过Python软件包对网络URL图片链接进行下载,可以加快后期处理.本文测试了urllib, request两个软件包对图片进行下载效果.如果图片原网页有了防止下载机制,是无法下载图片. ...
- Excel批量在单元格前添加文本的三种方法
Excel批量在单元格前添加文本的三种方法 在日常工作中我们可能要批量给单元格添加文本,下面就给大家介绍一下添加文本的三种方法. 方法一. 1.如下图,是某老师录入的学生成绩表,但是他在录入忘了录入年 ...
- python中none算变量吗_在python中对变量判断是否为None的三种方法总结
三种主要的写法有: 第一种:if X is None; 第二种:if not X: 当X为None, False, 空字符串"", 0, 空列表[], 空字典{}, 空元组()这 ...
- python网页爬取方法_Python爬取网页的三种方法
# Python爬取网页的三种方法之一: 使用urllib或者urllib2模块的getparam方法 import urllib fopen1 = urllib.urlopen('http://w ...
- python dict遍历文件_python 字典(dict)遍历的四种方法性能测试报告
python中,遍历dict的方法有四种.但这四种遍历的性能如何呢?我做了如下的测试 l = [(x,x) for x in xrange(10000)]d = dict(l)from time im ...
- python求1到n的乘积_Python实现矩阵相乘的三种方法小结
问题描述 分别实现矩阵相乘的3种算法,比较三种算法在矩阵大小分别为22∗2222∗22, 23∗2323∗23, 24∗2424∗24, 25∗2525∗25, 26∗2626∗26, 27∗2727 ...
- python dict遍历性能_python 字典(dict)遍历的四种方法性能测试报告
python中,遍历dict的方法有四种.但这四种遍历的性能如何呢?我做了如下的测试 l = [(x,x) for x in xrange(10000)] d = dict(l) from time ...
- python 解方程_python如何解方程的三种方法
python求解方程组的三种方法: Numpy求解方程组x + 2y = 3 4x + 5y = 6 当然我们可以手动写出解析解,然后写一个函数来求解,这实际上只是用 Python 来单纯做" ...
最新文章
- 说说如何使用 vue-router 实现页面跳转
- 2017-9-13:学习笔记
- 直播预告 | 共识、区块链和全球一体化经济
- appium 如何调用 adb_带你了解可用于Android APP自动化测试的框架:Appium
- Win10 Ubuntu子系统用户密码忘记解决方案
- 由一个计数器出发:关于vue使用独立js文件的问题
- python和java学哪个好-Python和Java学哪个好就业?
- 论文多个实验时VS或Unity工程需要每次新建吗?
- 使用ajaxfileupload.js上传文件成功之后,没有执行success方法
- adb手机无法识别 vivo_vivo安卓adb工具
- python淘宝抢购脚本_Python 实现毫秒级淘宝、京东、天猫等秒杀抢购脚本
- GRE词汇会难记到什么程度
- 天宇优配|医药股反弹受阻 公募乐观态度不改
- mysql冒号_mysql语句中的冒号是什么意思?
- TSL2591STM32固件库开发
- 华为云服务器怎么样?华为云服务器有什么优势?
- 电脑正常登录QQ微信,但浏览器无法打开网页,这个你一定要学会!
- forward 和 redirect 有什么区别 区别是什么?
- 汇编语言实验5:循环结构程序设计
- qemu stm32环境搭建教程