Python下Selenium PhantomJs设置header的方法

2019独角兽企业重金招聘Python工程师标准>>>

代码

话不多说，直接上代码

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilitiesdef getSource(url):headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3','User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4882.400 QQBrowser/9.7.13059.400','referer':'http://www.taobao.com'}#使用copy()防止修改原代码定义dictcap = DesiredCapabilities.PHANTOMJS.copy() for key, value in headers.items():cap['phantomjs.page.customHeaders.{}'.format(key)] = value# 不载入图片，爬页面速度会快很多cap["phantomjs.page.settings.loadImages"] = Falsedriver = webdriver.PhantomJS(desired_capabilities=cap)driver.get(encodeUrl(url))

部分博文提到设置User-Agent使用的是这个方法，好像也是可以的：

cap["phantomjs.page.settings.userAgent"] = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36'

检查

访问如下网址，可以回显你请求的数据，用来检查设置的header是否有效：
https://httpbin.org/get?show_env=1

例如我用如上的代码，访问这个地址，后面跟上两个实验参数：
https://httpbin.org/get?show_env=1&q=nihao&bbb=c
网页返回：

转载于:https://my.oschina.net/u/2396236/blog/1790714

Python下Selenium PhantomJs设置header的方法相关推荐

vxWorks6.8 操作系统下 QT 安装设置、运行方法
vxWorks6.8 操作系统下 QT 安装设置.运行方法 1. 前言本文详细描述了在 vxworks6.8 操作系统下,如何安装设置 QT 的方法,给出了详细的过程,图文并茂,并给出了在 vxs ...
[Python爬虫] Selenium+Phantomjs动态获取CSDN下载资源信息和评论
前面几篇文章介绍了Selenium.PhantomJS的基础知识及安装过程,这篇文章是一篇应用.通过Selenium调用Phantomjs获取CSDN下载资源的信息,最重要的是动态获取资源的评论,它是 ...
python下selenium模拟浏览器常见操作
本文主要记录下selenium的常见操作,如定位具体元素的不同方法.在具体元素内循环.提取文本等.具体代码如下: # -*- coding: utf-8 -*- ''' Created on 2019 ...
python使用selenium + PhantomJs搭建的简单漫画爬虫工具
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
python中用Selenium驱动Edge浏览器的方法
当我们需要用到webdriver.Edge(),如果没有安装相应的驱动,就会运行错误,显示: 'edgedriver' executable needs to be in PATH. 这是我们需要来到 ...
python Scrapy Selenium PhantomJS 爬取微博图片
1,创建项目 scrapy startproject weibo #创建工程 scrapy genspider -t basic weibo.com weibo.com #创建spider 目录结构 ...
python下selenium测试报告整合
使用过一段时间的Robot Framework测试框架,测试之前需要先搭环境,需要安装的东西很多,这一点个人有些排斥. 每一个测试内容对应一个Test_Case,Robot有自己语法格式,如判断.循环 ...
Python 之selenium+phantomJS斗鱼抓取案例
from selenium import webdriver from bs4 import BeautifulSoup import timeif __name__ == '__main__':dr ...
【Python】Selenium多级悬浮菜单定位方法分享
举例图: 以下菜单选择需逐级鼠标悬浮显示才可选择注明: """触发步骤:1.定位下拉框触发元素---点击----触发下拉框显示2.悬浮一级选择项,触发一级选择项3.悬浮 ...

Python下Selenium PhantomJs设置header的方法

代码

检查

Python下Selenium PhantomJs设置header的方法相关推荐

最新文章

热门文章