chrome浏览器爬虫WebDriverException解决采用python + selenium + chrome + headless模式

WebDriverException: Message: unknown error: Chrome failed to start: crashed

1. 背景
在使用selenium + chrome浏览器渲染模式爬取数据时，如果并发任务过多，或者爬虫的运行时间很长，那么很容易出现浏览器崩溃的现象，如下：

这一般是资源消耗过大造成的（据说chrome浏览器有内存泄漏的情况）。那如何解决这个问题呢？

这种情况下，我们首先就会想到使用无界面的浏览器PhantomJS，但是PhantomJS现在年久失修，后继无人，对很多新的特性支持并不够好。不过好在Google今年在chrome中增加了一项新的特性： Headless mode ，这样我们就可以使用无界面的chrome来爬取数据了，占用资源更少，速度更快。而且可喜的是，google的团队承诺会一直维护它…
2. 环境
系统：win10
python 3.6.5
IDE：jupyter notebook
安装过chrome浏览器（ 75.0.3770.100（正式版本） 64 位）
selenium 3.7.0
配置好ChromeDriver v2.46

注意：

因为Headless mode 是新推出的特性，只有高级的版本才能使用，并不向前兼容，所以对chrome浏览器和chromedriver的版本有要求：
1. 对chrome浏览器来说：
linux，unix系统需要 chrome浏览器 >= 59
Windows系统需要 chrome浏览器 >= 60
2. chromeDriver版本与chrome浏览器匹配：
这个部分参考文章：https://www.cnblogs.com/gaofighting/p/10757013.html

代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keyschrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')# 启动浏览器，获取网页源代码
browser = webdriver.Chrome(options=chrome_options)
mainUrl = "https://www.taobao.com/"
browser.get(mainUrl)
print(f"browser text = {browser.page_source}")browser.get_screenshot_as_file("test.png")#获取截图
browser.quit()

转载于:https://www.cnblogs.com/gaofighting/p/11172956.html

chrome浏览器爬虫WebDriverException解决采用python + selenium + chrome + headless模式相关推荐

12306 抢票 python + selenium + chrome （二）基础准备的软件和材料
我使用的 vmware 14 + ubuntu 16 + PyCharm 开发环境 12306抢票 python+selenium+chrome 实现一 12306抢票 python+selen ...
python+selenium+chrome 做滑动验证码会被浏览器检测到使用的自动软件导致滑动验证失败
python+selenium+chrome 做滑动验证码会被浏览器检测到使用的自动软件导致滑动验证失败解决方法:代码中添加: import time from selenium import w ...
Python + Selenium + Chrome 使用代理 auth 的用户名密码授权
2019独角兽企业重金招聘Python工程师标准>>> 米扑代理,全球领导的代理品牌,专注代理行业近十年,提供开放.私密.独享代理,并可免费试用米扑代理官网:https://pro ...
python+selenium+chrome实现淘宝购物车秒杀自动结算
python+selenium+chrome实现淘宝购物车秒杀自动结算一.所需环境二.安装三.代码最后run()一把就ok了!! 之前总是想要买aj,但是淘宝店铺每次发售手动抢的时候一般都会被 ...
Python + Selenium + Chrome Driver 自动化点击+评论+刷弹幕（仅供学习）
Python + Selenium + Chrome Driver 自动化点击评论刷弹幕首先说明,这篇博文仅供学习!仅供学习!仅供学习! 不要拿去做其他事,封号概不负责!!! 突发奇想首先先说 ...
python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库
python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库准备阶段在正式开始在前需要先准备好做爬虫的工具,本例使用chrome无头浏览器进行爬取工作,也可使用 ...
Linux服务器上搭建Python+Selenium+Chrome的运行环境（静默模式、无图形）
本文是<统计CSDN博客的访问量>的部署篇,为了持续统计CSDN的访问量.并进行分析,因此需要在Linux上搭建Selenium + Chrome driver的运行环境安装Seleni ...
Python selenium chrome 环境配置
Python selenium chrome 环境配置一.参考文章:1. 记录一下python easy_install和pip安装地址和方法http://heipark.iteye.com/blog ...
在Docker中使用Python Selenium和Headless Chrome进行网站自动化测试的方法
by Joyz 通过乔伊斯在Docker中使用Python Selenium和Headless Chrome进行网站自动化测试的方法 (A recipe for website automated ...
Python - Selenium Chrome 模拟手机
Python - Selenium Chrome 模拟手机 Max.Bai 2017-04 Chrome浏览器支持移动端调试,当然ChromeDriver也支持移动端测试了. 使用python调用We ...

chrome浏览器爬虫WebDriverException解决采用python + selenium + chrome + headless模式

WebDriverException: Message: unknown error: Chrome failed to start: crashed

chrome浏览器爬虫WebDriverException解决采用python + selenium + chrome + headless模式相关推荐

最新文章

热门文章