python 网页截图不全_python网页截图(不受滚动条限制)
最近工作需要获取网页的截图,本来是使用selenium + phantomjs进行截图,但是却发现一些没有被封的网页保存的截图却是404页面找不到的画面,猜测有可能是访问网页的响应时间超过默认值,由于对上述两个工具不太熟悉,没有找到解决方法。如果某位大神路过,还请指教。多谢!!!
故查阅资料转战调用Google访问然后截图,网页找不到的问题解决了又出现了滚动条的限制无法截取更多内容的问题。经过多方查找资料和实验,最终总结出了,如何调节滚动窗口大小来截取图片。代码如下(如果有更好的方法,希望能够与我沟通,再次感谢):
#调用谷歌浏览器截图
#now = time.strftime("%Y-%m-%d-%H_%M_%S",time.localtime(time.time()))
image_path = data_path +'/image'
if not os.path.exists(image_path ):
os.makedirs(image_path )
#os.makedirs(datapath +'/image')
chrome_options = webdriver.ChromeOptions()
#ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'
#chrome_options.add_argument('user-agent="%s"' % ua)
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('window-size=2560x1440')
#chrome_options.add_argument("--start-maximized")
driver = webdriver.Chrome(executable_path=r"D:\chromedriver.exe", chrome_options=chrome_options)
for i in range (0,len(user_table)):
j = 0
url2 = user_table.ix[i,1]
user_account = user_table.ix[i,0]
print (user_account)
chrome_flag = False
while not chrome_flag:
try:
driver.get(url2)
js="var q=document.documentElement.scrollTop=(350)"
driver.execute_script(js)
picName = image_path +'/'+ user_account + ".png"
driver.save_screenshot(picName)
#driver.close()
except:
j +=1
if j <= 5:
print ('[%s] HTTP请求失败!!!正在准备重发。。。')
time.sleep(2)
continue
else:
break
chrome_flag = True
driver.quit()
python 网页截图不全_python网页截图(不受滚动条限制)相关推荐
- python屏幕文字识别_Python文字截图识别OCR工具实例解析
一.简介 你一定用过那种"OCR神器",可以把图片中的文字提取出来,极大的提高工作效率. 今天,我们就来做一款实时截图识别的小工具.顾名思义,运行程序时,可以实时把你截出来的图片中 ...
- python的网页解析器_Python网页解析器使用实例详解
python 网页解析器 1.常见的python网页解析工具有:re正则匹配.python自带的html.parser模块.第三方库BeautifulSoup(重点学习)以及lxm库. 2.常见网页解 ...
- python 实现分步累加_Python网页爬取分步指南
python 实现分步累加 As data scientists, we are always on the look for new data and information to analyze ...
- python androidhelper 语音识字_Python实现截图AI文字识字小工具
1. 获取百度识字API 由于百度提供了免费的图片识字API,而且非常好用,所以直接使用百度的api来进行识字. 首先在百度AI开放平台注册一个账号,网址http://ai.baidu.com/,注册 ...
- python属于私有属性_Python私有属性和受保护的属性原理解析
前言: Python不能像Java那样使用 private 和 protected 修饰符创建私有属性和受保护的属性,但是Python有个简单的机制,能避免子类意外覆盖"私有"属性 ...
- html2canvas.min.js 截图 多行文字错位 ;截图不全不完整
在帮助组员解决问题中记录使用过程中遇到的问题: 1. iOS 系统上 截图生成的海报 文字分享出去之后 文字会错位 这个是html2canvas 对中文支持的问题 html 文件: <div i ...
- python 数据框缺失值_Python:处理数据框中的缺失值
python 数据框缺失值 介绍 (Introduction) In the last article we went through on how to find the missing value ...
- 使用selenium网页截图,解决截图不全问题
#!/usr/bin/python3 # -*- coding:utf-8 -*-import time from selenium import webdriver from selenium.we ...
- python做图片浏览器_python操作浏览器及截图小结
近期做网页自动化用到内容小结 1.打开浏览器 1)打开默认配置的浏览器 from selenium import webdriver driver = webdriver.Firefox() &quo ...
最新文章
- VMware将世界领先的云访问安全代理合作伙伴纳入移动安全联盟
- 数据流动控制学习笔记
- resin设置jvm参数
- java用beaninfo_java 可以使用BeanInfo实现bean实体与map之间的互相转换
- C语言编程规范--------2 注释
- 课时55.详情和概要标签(理解)
- 利用BBRSACryptor实现iOS端的RSA加解密
- RTC领域首个AI算法大赛 AI in RTC 2019 创新挑战赛圆满落幕
- android异步工作,Android异步消息机制详解
- ios sandbox
- java实现人脸识别(附源码)
- OpenCV-Python 识别万用表七段数码管电流值
- java jpg转换成pdf格式_Java pdf和jpg互转案例
- 【着色器实现Shine局部或整体扫光效果_Shader效果第三篇】
- 关于相机(摄相头)的选用
- macmini作为远程服务器,我在用我的 Mac mini 做什么
- GrabCut python实现
- 服务器电脑增加机械硬盘分区,台式电脑加新、旧机械硬盘分区教程 旧机械硬盘可以装新电脑上吗?...
- “大数据杀熟”?商家对数据的使用可能远超出想象
- tf-faster-rcnn在cpu下运行demo、测试和训练自己的数据集