python下载网页里面所有的图片-python批量下载图片的三种方法
有三种方法,一是用微软提供的扩展库win32com来操作IE,二是用selenium的webdriver,三是用python自带的HTMLParser解析。win32com可以获得类似js里面的document对象,但貌似是只读的(文档都没找到)。selenium则提供了Chrome,IE,FireFox等的支持,每种浏览器都有execute_script和find_element_by_xx方法,可以方便的执行js脚本(包括修改元素)和读取html里面的元素。不足是selenium只提供对python2.6和2.7的支持。HTMLParser则是需要自己写个类继承基类,重写解析元素的方法。个人感觉selenium用起来更方便,很容易操作html里的元素。
代码如下:
win32com:
#将滚动条滑到底,最多滑动20000像素
#模拟键盘右键,查看多张图片
import sys
import win32com.client,win32api
import urllib.request
import time
import os
def main():
#获取参数
url=sys.argv[1]
#操作IE
ie=win32com.client.Dispatch("InternetExplorer.Application")
ie.Navigate(url)
ie.Visible=True
last_url=''
dir_name=''
while last_url!=url:
print(' The URL is:',url,' ')
while ie.ReadyState != 4:
time.sleep(1)
while ie.Document.readyState != "complete":
time.sleep(1)
#滑动滚动条
win=ie.Document.parentWindow
lastY=-1;
for i in range(40):
win.scrollTo(0,500*i)
nowY=win.pageYOffset
if(nowY==lastY):
break
lastY=nowY
time.sleep(0.4)
print('Document load state:',ie.Document.readyState)
doc=ie.Document
#第一次需要创建目录
if(dir_name==''):
root_dir='E:\img'
dir_name=root_dir+'\'+doc.title
dir_name=dir_name.replace('|','-')
if(os.path.exists(root_dir)!=True):
os.mkdir(root_dir)
if(os.path.exists(dir_name)!=True):
os.mkdir(dir_name)
all_image=doc.images
print('共有',all_image.length,'张图片')
count=0;
for img in all_image:
if(img.id=='b_img'):
count=count+1
print(count,img.src)
time.sleep(1)
img_file=urllib.request.urlopen(img.src)
byte=img_file.read()
print(count,'donwload complete!','-'*10,'size:','{:.3}'.format(byte.__len__()/1024),'KB')
if(byte.__len__()>7000):
file_name=img.src.replace('/','_')
file_name=file_name.replace(':','_')
end=file_name.__len__()
if(file_name.rfind('!')!=-1):
end=file_name.rfind('!')
if(file_name.rfind('?')!=-1):
end=file_name.rfind('?')
file_name=file_name[:end]
write_file=open(dir_name+'\'+file_name,'wb')
write_file.write(byte)
write_file.close()
print(count,file_name,'complete!')
#下一张
last_url=url
win32api.keybd_event(39,0)
time.sleep(1)
url=ie.Document.url
print(last_url,url)
#ie.Quit()
if __name__ == '__main__':
main()
selenium:
# -*- coding: cp936 -*-
import sys
import urllib
import time
import os
from selenium import webdriver
def main():
#获取参数
url=sys.argv[1]
#操作IE
driver=webdriver.Chrome()
driver.get(url)
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
#创建目录
dir_name=driver.find_element_by_tag_name('title').text
print dir_name
root_dir='E:\img'
dir_name=root_dir+'\'+dir_name
dir_name=dir_name.replace('|','-')
if(os.path.exists(root_dir)!=True):
os.mkdir(root_dir)
if(os.path.exists(dir_name)!=True):
os.mkdir(dir_name)
images=driver.find_elements_by_tag_name('img')
count=0
for image in images:
count=count+1
image_url=str(image.get_attribute('src'))
img_file=urllib.urlopen(image_url)
byte=img_file.read()
print count,'donwload complete!','-'*10,'size:',byte.__len__()/1024,'KB'
if(byte.__len__()>7000):
file_name=image_url.replace('/','_')
file_name=file_name.replace(':','_')
end=file_name.__len__()
if(file_name.rfind('!')!=-1):
end=file_name.rfind('!')
if(file_name.rfind('?')!=-1):
end=file_name.rfind('?')
file_name=file_name[:end]
write_file=open(dir_name+'\'+file_name,'wb')
write_file.write(byte)
write_file.close()
print count,file_name,'complete!'
driver.quit()
if __name__ == '__main__':
main()
HTMLParser:
# import modules used here -- sys is a very standard one
import sys
import urllib.request
# Gather our code in a main() function
from html.parser import HTMLParser
class MyHTMLParser(HTMLParser):
def handle_starttag(self,tag,attrs):
if(tag=='img'):
for attr in attrs:
if(attr[0]=='src'):
img_file=urllib.request.urlopen(attr[1])
byte=img_file.read()
#文件大于1000b则生成文件,添加计数,下载多少图片,显示html代码
if(byte.__len__()>1000):
file_name=attr[1].replace('/','_')
file_name=file_name.replace(':','_')
end=file_name.__len__()
if(file_name.rfind('!')!=-1):
end=file_name.rfind('!')
if(file_name.rfind('?')!=-1):
end=file_name.rfind('?')
file_name=file_name[:end]
## print(file_name)
write_file=open('E:\img\'+file_name,'wb')
write_file.write(byte)
write_file.close()
def main():
#获取参数
url=sys.argv[1]
print(' The URL is:',url,' ')
#读取url所指向的资源
html_file=urllib.request.urlopen(url)
byte_content=html_file.read()
#将html网页保存起来
url_file=open('E:\img\html\result.htm','wb')
url_file.write(byte_content)
url_file.close()
#从字节转换为字符串
s=str(byte_content, encoding = "utf-8")
#print(s)
#bytes.decode(html_file.read())
parser=MyHTMLParser(strict=False)
parser.feed(s)
# Standard boilerplate to call the main() function to begin
# the program.
if __name__ == '__main__':
main()
python下载网页里面所有的图片-python批量下载图片的三种方法相关推荐
- android系统通过图片绝对路径获取URI的三种方法
老马的技术博客 android系统通过图片绝对路径获取URI的三种方法 最近做项目要通过图片的绝对路径找到图片的URI,然后删除图片,小小总结一下获取URI的方法,亲自试验在 android 4.1. ...
- python求1到n的乘积_Python实现矩阵相乘的三种方法小结
问题描述 分别实现矩阵相乘的3种算法,比较三种算法在矩阵大小分别为22∗2222∗22, 23∗2323∗23, 24∗2424∗24, 25∗2525∗25, 26∗2626∗26, 27∗2727 ...
- c调用python keras模型_使用TensorFlow 2.0创建Keras模型的三种方法
TensorFlow 2.0和tf.keras提供了三种方式来实现神经网络模型:Sequential API Functional API Model subclassing 下面我将分别使用这三种方 ...
- Python配置新环境时,复制已经安装好虚拟环境的三种方法
在用Python开发项目时,经常需要在特定的虚拟环境配置下才可以运行,这时就需要我们重新配置一个新的虚拟环境,新的虚拟环境得重新安装很多包,这就很麻烦了,那能不能在之前配置过的虚拟环境基础上安装其它新 ...
- 【网页前端实现多张图片轮播或者切换】三种方法实现
多张图片轮播 今天我们主要用三种方式实现多张图片轮播,运用的语言是web中的html,使用软件是HBuilder. 达到以下这种效果:![可以通过下方原点点击或者左右两侧点击进行图片的切换](http ...
- android 缩略图uri_课题_android系统通过图片绝对路径获取URI的三种方法
最近做项目要通过图片的绝对路径找到图片的 URI ,然后删除图片,小小总结一下获取 URI 的方法,亲自试 验在 android 4.1.3 的系统上都是可用的. 1. 将所有的图片路径取出,遍历比较 ...
- 图片怎么批量抠图?这几种方法都可以实现批量抠图
如何将图片进行批量抠图呢?批量抠图可以将大量图片进行快速处理,而不需要进行单独的编辑处理.这样,我们就可以更快地完成我们的工作任务,可以减少单独编辑每张图片所需要的时间和人力成本,从而节省时间和成本, ...
- python下载网页歌词_python3个人学习笔记-批量下载分析歌词2
我发现之前自己真是太愚蠢了没有搞清楚正则表达的各种用法. 不同词语的筛选根本不用像re.sub('另一个想替换的内容','另一个替换后的内容',re.sub('想要替换的内容','替换后的内容',x) ...
- python 实现账号封禁30分钟---(Redis,Mysql,文件)三种方法
下面写三种方法来实现,用户在规定时间内,输入次数上限,封禁账号的功能. 第一种:使用redis完成用户封禁状态 第二种:使用mysql 第三种:使用文件 1.封禁用户流程图 第一种方法: Redis ...
- 图片懒加载的原理--三种方法实现
1. 图片懒加载的背景 类似于大型的淘宝商城.京东等网页,设计大量的商品图片信息,如果我们使页面包含的所有图片一次性加载完成,那用户体验很差. 目前流行的做法是滚动动态加载,也就是懒加载,显示在屏幕之 ...
最新文章
- zabbix企业应用之报表功能
- 【小白学习PyTorch教程】十一、基于MNIST数据集训练第一个生成性对抗网络
- rgb sw 线主板接口在哪_十代至尊i910980XE直接上:技嘉X299X AORUS MASTER主板评测
- 烟草局计算机笔试,2020年广西南宁烟草局什么时候笔试?
- 教你如何在Mac上搭建自己的服务器——Nginx
- 计算机界 TOP 3 难题:“相等”是软件工程中许多重大问题的根源!
- android面试笔试题详解
- Axure 元件导入元件库
- 常用ADSS光缆的代表结构和主要参数介绍
- AXURE RP 9 ——【中继器】
- unicode编码和utf-8编码详解
- 【面试分享】GitHub上Star大佬是如何一举拿下7家一线互联网大厂的Offer
- 计算机任务计划程序已损坏,Win7-该任务映像已损坏或已篡改。(异常来自HRESULT:0x80041321)解决办法...
- 【工具分享】如何识别手机里偷数据的那些软件(适用于安卓平台)
- [体感游戏]关于体感游戏的一些思考(六)--- 飞行
- centos6.0 64位挂载ntfs分区
- 【DP】CF940E Cashback
- google海底光缆图_2019全球海底光缆分布图
- ip地址解析成国家、城市、iso code或者按语言获取城市名
- 郁闷的美国百夫长卡中国版
热门文章
- mac用什么写python程序_mac下的应用程序发布 及 打包(Python写的脚本,可打包第三方库)...
- android从放弃到精通 第八天 freedom
- 企业安全建设之搭建开源SIEM平台(上)
- 浏览器地址栏运行HTML代码(谷歌)
- UVA - 10603 Fill(BFS求最小值问题)
- 个人作业1 四则运算题目生成程序
- ts包、表、子表、section的关系
- jQuery Ajax详解
- 27.	代码实例-spring声明式事务
- 使用单个innodb表,实现锁,防止游戏被刷物品或者其它资源!