python webdriver save_Python + Selenium +Chrome 批量下载网页代码修改【新手必学】

Python + Selenium +Chrome 批量下载网页代码修改

主要修改以下代码可以调用本地的 user-agent.txt 和 cookie.txt

来达到在登陆状态下批量打开并下载网页，以网页 ID 来保存为网页文件名

PS:很多人在学习Python的过程中，往往因为遇问题解决不了或者没好的教程从而导致自己放弃，为此我建了个Python全栈开发交流.裙：一久武其而而流一思(数字的谐音)转换下可以找到了，里面有最新Python教程项目可拿,不懂的问题有老司机解决哦，一起相互监督共同进步

导入 webdriver

from selenium import webdriver

读取本地文件中的 URL 链接

address = ‘./url.txt’

fp = open(address, ‘r’)

lines = fp.readlines()

print (‘【URL 链接】:% s’, lines)

调用环境变量指定的 PhantomJS 浏览器创建浏览器对象

driver = webdriver.PhantomJS()

driver = webdriver.Chrome()

如果没有在环境变量指定 PhantomJS 位置

driver = webdriver.PhantomJS(executable_path=”./phantomjs”))

for data in lines:

get 方法会一直等到页面被完全加载，然后才会继续程序，通常测试会在这里选择 time.sleep (2)

driver.get(data)

向下滚动 10000 像素

js = “document.body.scrollTop=10000”

js=”var q=document.documentElement.scrollTop=10000”

执行 JS 语句

driver.execute_script(js)

查看页面快照

driver.save_screenshot(“csdn.png”)

print (‘执行中。。。’)

关闭浏览器

driver.quit()

print (‘执行结束。。。’)

关闭文件流

fp.close()

总结：有很多人在学习Python的过程中，往往因为遇问题解决不了或者没好的教程从而导致自己放弃，为此我建了个Python全栈开发交流.裙：一久武其而而流一思(数字的谐音)转换下可以找到了，里面有最新Python教程项目可拿,不懂的问题有老司机解决哦，一起相互监督共同进步

本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

python webdriver save_Python + Selenium +Chrome 批量下载网页代码修改【新手必学】相关推荐

python 批量下载代码_Python + Selenium +Chrome 批量下载网页代码修改
Python + Selenium +Chrome 批量下载网页代码修改主要修改以下代码可以调用本地的 user-agent.txt 和 cookie.txt 来达到在登陆状态下批量打开并下载网 ...
python 文件更新_使用Python批量更新服务器文件【新手必学】
买了个Linux服务器,Centos系统,装了个宝塔搭建了10个网站,比如有时候要在某个文件上加点代码,就要依次去10个文件改动,虽然宝塔是可视化页面操作,不需要用命令,但是也麻烦,虽然还有git的h ...
Python短文本自动识别个体是否有自杀倾向【新手必学】
我们以微博树洞为例,讲解了怎么自动爬取单个微博的评论.今天我们就要用上这些数据做一个自杀倾向分类器,这样的分类器如果应用得当,将可以帮助成千上万误入歧途的人们挽回生命. 为了简化问题,我们将短文本分为 ...
python之批量下载网页数据
python之批量下载网页数据要下载如下网页所示数据,一个一个点下载繁琐,我们用python代码来批量下载. python代码: import urllib.request # url reques ...
Node爬虫：批量下载网页
编写网页爬虫时,爬取 html 页面是基本功能.在 Node.js 中,只需借助内置的 http 模块,即可实现一个网页下载器,代码如下: const http = require('http') c ...
自动化测试框架搭建三python环境安装selenium和手动下载安装selenium的方法
python环境安装selenium和手动下载安装selenium的方法方法1:cmd环境下,用pip install selenium 可能会很慢方法2:下载selenium安装包手动安装下载 ...
Excel功能强大到可批量下载网页的PNG格式图片
今天啊,我们要通过Excel来演示一下,批量下载网页上png格式图片的操作. (方方格子插件) 1.先看动图演示吧 2.首先我们需要打开excel的操作界面. 3.然后我们需要选择复制具有网页图片 ...
下载网页图片-如何批量下载网页图片-批量图片下载工具免费
下载网页图片,今天给大家分享一款免费批量下载网页图片软件,支持任意格式的图片批量下载,只需要输入关键词或批量导入网页链接即可下载图片.批量下载任意网页上的图片,每个人都可以拥有各种高清图源.支持批量图 ...
下载网页图片-批量下载网页图片软件免费
下载网页图片,今天给大家分享一款免费批量下载网页图片软件,支持任意格式的图片批量下载,只需要输入关键词或批量导入网页链接即可下载图片.批量下载任意网页上的图片,每个人都可以拥有各种高清图源.支持批量图 ...

python webdriver save_Python + Selenium +Chrome 批量下载网页代码修改【新手必学】

python webdriver save_Python + Selenium +Chrome 批量下载网页代码修改【新手必学】相关推荐

最新文章

热门文章