python 批量下载代码_Python + Selenium +Chrome 批量下载网页代码修改

Python + Selenium +Chrome 批量下载网页代码修改

主要修改以下代码可以调用本地的 user-agent.txt 和 cookie.txt

来达到在登陆状态下批量打开并下载网页，以网页ID来保存为网页文件名

导入 webdriver

from selenium import webdriver

读取本地文件中的URL链接

address = ‘./url.txt’

fp = open(address, ‘r’)

lines = fp.readlines()

print(‘【URL链接】:%s’, lines)

调用环境变量指定的PhantomJS浏览器创建浏览器对象

driver = webdriver.PhantomJS()

driver = webdriver.Chrome()

如果没有在环境变量指定PhantomJS位置

driver = webdriver.PhantomJS(executable_path=”./phantomjs”))

for data in lines:

get方法会一直等到页面被完全加载，然后才会继续程序，通常测试会在这里选择 time.sleep(2)

driver.get(data)

向下滚动10000像素

js = “document.body.scrollTop=10000”

js=”var q=document.documentElement.scrollTop=10000”

执行JS语句

driver.execute_script(js)

查看页面快照

driver.save_screenshot(“csdn.png”)

print(‘执行中。。。’)

关闭浏览器

driver.quit()

print(‘执行结束。。。’)

关闭文件流

fp.close()

python 批量下载代码_Python + Selenium +Chrome 批量下载网页代码修改相关推荐

python webdriver save_Python + Selenium +Chrome 批量下载网页代码修改【新手必学】
Python + Selenium +Chrome 批量下载网页代码修改主要修改以下代码可以调用本地的 user-agent.txt 和 cookie.txt 来达到在登陆状态下批量打开并下载网 ...
python壁纸程序代码_python实现壁纸批量下载代码实例
前言好久没有写文章了,因为最近都在适应新的岗位,以及利用闲暇时间学习python.这篇文章是最近的一个python学习阶段性总结,开发了一个爬虫批量下载某壁纸网站的高清壁纸. 注意:本文所属项目仅用 ...
python批量检索文献_Python+Selenium，让浏览器自动帮你下文献
在做学术.搞科研的过程中,我们往往需要针对一个特定的主题下载海量的文献.在把几百篇文献下载到电脑的过程中,假如遇到不够友好的数据库不提供批量下载的功能,怎么办?我恰好遇到了这样的批量下载的科研任务和批 ...
aspx网页背景图片设置代码_python requests,BeautifulSoup批量下载360图片
本代码演示通过python的requests,BeautifulSoup库批量下载360图片,并保存在本机的路径代码如下: #BeautifulSoup库是网页爬虫解析库,主要用来对HTML源代码进 ...
python实现qq登录_python实现QQ批量登录功能
本文实例为大家分享了python实现QQ批量登录功能的具体代码,供大家参考,具体内容如下小编收集整理的第一份代码:python3.6批量登陆QQ import os import time impo ...
python爬取好友qq空间_python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库...
title: python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库准备阶段在正式开始在前需要先准备好做爬虫的工具,本例使用chrome无头浏览器进行爬取 ...
python自动化控制运动_Python +selenium自动化帮你预订运动场地
导语炎热的夏天,正是换上短裤短裙晒身材的时候.但是,身材不好怎么办?运动是一个选择,特别是像我们程序员行业,天天坐在空调办公室,更应该出出汗,正所谓:冬练三九,夏练三伏. 下班后,约上公司的妹子,打 ...
python抓取教学_Python Selenium 实战教学：爬取每日天气
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:气象学渣一.准备工作 1.Selenium的介绍与安装 Selen ...
python教程app下载地址_Python爬取APP下载链接的实现方法
首先是准备工作 Python 2.7.11:下载python 其中python2和python3目前同步发行,我这里使用的是python2作为环境.Pycharm是一款比较高效的Python IDE, ...

python 批量下载代码_Python + Selenium +Chrome 批量下载网页代码修改

python 批量下载代码_Python + Selenium +Chrome 批量下载网页代码修改相关推荐

最新文章

热门文章

python 批量下载 代码_Python + Selenium +Chrome 批量下载网页代码修改

python 批量下载 代码_Python + Selenium +Chrome 批量下载网页代码修改相关推荐

最新文章

热门文章

python 批量下载代码_Python + Selenium +Chrome 批量下载网页代码修改

python 批量下载代码_Python + Selenium +Chrome 批量下载网页代码修改相关推荐