selenium下载图片

#coding:utf-8
#__author__='wang'

#phantomJS:selenium+phantomJS实现动态网站数据的爬取，该工具被称为幽灵浏览器，
也可以像浏览器一样去渲染JS加载的页面，只不过没有界面，运行速度比启动客户端又快一些

#注意：phantomJS解析的动态网页源码可能会存在和Firefox()客户端解析的动态网页源码
不一样的情况

#通过cmd命令phantomJS -v查看是否安装成功，出现版本号则可以正常使用了

import time,os
import shutil
from urllib import urlretrieve
from selenium   import webdriverclass ImageDownload(object):def __init__(self):self.base_url = 'http://www.ivsky.com/tupian/ziranfengguang/'
        self.page = 1
        #由于图片的下载只需要创建一个浏览器对象即可，将对象的创建放到初始化函数中
        self.driver = self.get_driver()def get_driver(self):driver = webdriver.PhantomJS()try:driver.get(self.base_url + 'index_' + str(self.page) +'.html')except Exception,e:print '加载首页数据失败，原因：',eelse:print '加载首页数据成功'
            return driverdef create_directory(self,directory_name):if os.path.exists(directory_name):print directory_name+u'目录已经存在了'
            #删除文件
            shutil.rmtree(directory_name)print directory_name + u'目录创建成功'
        os.mkdir(directory_name)os.chdir(directory_name)def download_img(self):#定位到每一张图片元素，取出src有图片链接用于下载，取出alt属性用于创建
文件夹
        imgs_list = self.driver.find_elements_by_css_selector
('.il_img img')for img in imgs_list:src = img.get_attribute('src').encode('utf-8')alt = img.get_attribute('alt')self.create_directory(alt)urlretrieve(src,'fengjing.png')os.chdir(os.path.pardir)#定位下一页
        try:next_page = self.driver.find_element_by_css_selector
('.page-next')print next_pageexcept Exception,e:print '已经到最后一页了'
            #退出浏览器，同时结束单钱函数的执行
            self.driver.quit()return
        else:#取出下一页
            next_url = next_page.get_attribute('href').encode('utf-8')self.driver.get(next_url)self.download_img()if __name__ == '__main__':img=ImageDownload()img.download_img()

selenium下载图片相关推荐

python selenium下载图片_Python Selenium Web自动化上传/下载文件图文详解
情景: 在用selenium进行web页面自动化时,时不时会遇到上传附件的情况,常见的情况就是一个上传按钮,点击后弹出windows窗口,选择文件后上传,如下图1所示图1 这种情况超出了seleni ...
python + selenium +pyquery 爬虫爬取 1688详情图片阿里巴巴详情图片与标题下载图片并进行压缩
python + selenium +pyquery 爬虫爬取 1688详情图片阿里巴巴详情图片与标题下载图片并进行压缩用到的库和源码下载地址需要用到chromedriver 包含wi ...
用scrapy+selenium + phantomjs 爬取vip网页,保存为json格式,写入到mysql数据库,下载图片(二)
接上一编 weipin.py文件的代码 : # -*- coding: utf-8 -*- import scrapy from weipinhui.items import WeipinhuiIte ...
selenium小练习：自写利用 selenium 下载Google高清图片、大众点评自动传头像/评论
一. selenium 下载高清图片 1.版本介绍 python 3.7.4 selenium = 3.141.0 chromedriver=84.0.4147.30 2.保存 base64 图片格式 ...
selenium爬取优酷页面并下载图片
1 from selenium import webdriver 2 import requests 3 driver = webdriver.Chrome() 4 #打开优酷 5 driver.ge ...
python selenium下载电子书
转载至:TTyb http://www.cnblogs.com/TTyb/p/5989152.html 妹纸推荐书籍<御伽草纸>,网上找了很久都找不到下载,估计是被Amazon版权了 ...
python用selenium 验证码图片_Python +Selenium解决图片验证码登录或注册问题(推荐)
1. 解决思路首先要获得这张验证码的图片,但是该图片一般都是用的js写的,不能够通过url进行下载. 解决方案:截图然后根据该图片的定位和长高,使用工具进行裁剪裁剪完毕之后,使用工具解析该图片. ...
Scrapy爬取动态页面下载图片（以抓取360图片为例）
当我们想要抓取一个页面的内容时,要做的第一件事不是写代码,而是分析页面,确定这是一个静态页面还是动态页面.抓取静态页面的方法十分简单,直接解析html源码再进行分析解析即可,如果不太明白,可以参考我上 ...
Python+selenium下载数据初探
ghpython语法去年看了一些,一直没有应用到实践中. 手头有些数据,都在行业内部网站上查询,网站使用吧safeKey加密狗,只能使用ie来认证加密.过去我认为这种网站是没用办法爬取数据的.研究了s ...
4 爬虫 selenium模块图片点击验证 js加密 js混淆
爬虫 1 selenium模块 1.1 简介 selenium模块一般用于基于浏览器的自动化测试工作,也可以用于爬虫. 使用selenium模块进行爬虫: 可以方便地捕获动态加载的数据,页面可见即可得 ...

selenium下载图片

selenium下载图片相关推荐

最新文章

热门文章