selenium对接代理与seleniumwire访问开发者工具NetWork

之前我在《使用MitmProxy离线缓存360度全景网页》一文中演示了如何搭建python代理服务器MitmProxy。

但之前是纯手工访问网页缓存数据，如果我们希望能够自动访问网页并对接代理下载数据，可以通过selenium控制游览器实现自动访问。

对接selenium的代理服务器，有种用法是使用 browsermobproxy，它基于Java开发，需要在https://chromedevtools.github.io/devtools-protocol/tot/Network/下载对应文件。

参考：https://blog.csdn.net/u010741112/article/details/118674293

不过个人在研究后发现它只是一个基于Java开发的代理服务器，对编码的处理不够准确经常出现乱码，而且难以还原。

解决他的乱码问题，得添加Java代码的拦截器设置编码，例如设置文本都以GBK编码解码：

proxy = server.create_proxy()
# 根据实际网站设置
proxy.response_interceptor('''if (contents.isText() ) {response.headers().set("Content-Type", "text/json;charset=GBK");}
''')

整体而言，个人感觉很难用。远远不如selenium直接对接MitmProxy代理用的方便。

selenium使用代理服务器的代码示例：

from selenium import webdriveroption = webdriver.ChromeOptions()
option.add_argument(f'--proxy-server=127.0.0.1:8080')
browser = webdriver.Chrome(options=option)
browser.get('https://www.baidu.com/')

这样只有我们就通过MitmProxy代理服务器获取所有经过selenium控制的游览器访问的数据，这样我们同时还实现自动化控制和数据获取之间的解耦，mitmdump加载的脚本专门复杂拦截数据并处理，selenium代码专门负责自动化控制。

而今天我要介绍的是seleniumwire这个库，关于这个库的完整用法可以参考：https://pypi.org/project/selenium-wire/

安装：

pip install selenium-wire

注意：Linux和Mac系统必须额外安装openssl用于解码https的数据。

CentOS：yum install openssl

Mac：brew install openssl

这个库基本上可以使用被控制的游览器访问留下的历史记录，可随意的下载，但是默认仅保存原始的字节数据，若遇到压缩数据需要自行解压。

下面我们以网易财经的行情中心数据演示一下，完整代码如下：

from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from seleniumwire import webdriver
import json
import gzip
import time
import pandas as pdbrowser = webdriver.Chrome()browser.get('http://quotes.money.163.com/old/#query=dy019000&DataType=HS_RANK&sort=PERCENT&order=desc&count=24&page=0')
wait = WebDriverWait(browser, 30)
# 等待表格组件加载完毕
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "table.ID_table")))def fetch_data():for request in reversed(browser.requests):if not request.url.startswith("http://quotes.money.163.com/hs/service/diyrank.php"):continueres = request.responseif not res or res.status_code != 200:continueif res.headers["content-encoding"] == "gzip":# gzip解压res.body = gzip.decompress(res.body)return json.loads(res.body.decode('u8'))def wait_loading():"等待 等待组件的消失"for _ in range(150):if not browser.find_elements_by_css_selector("div.loading-cover"):breaktime.sleep(0.2)data = []
for i in range(100):wait_loading()  # 等待加载完毕page = fetch_data()  # 从历史游览记录中获取数据if page:print(i, len(page['list']), page['list'][0]['CODE'])  # 检测数据data.extend(page['list'])  # 插入数据a_tag = browser.find_element_by_css_selector("div.ID_pages a:nth-last-of-type(1)")del browser.requests  # 清空游览器缓存if a_tag.text != "下一页":breaka_tag.click()
df = pd.DataFrame(data)
df

1048 rows × 25 columns

重点代码解释：

if res.headers["content-encoding"] == "gzip":res.body = gzip.decompress(res.body)

这段代码实现对gzip压缩的网络数据进行自动解压，若存在其他类型的压缩还需要编写针对性代码，通用的解压缩代码：

import gzip
import zlib
import brotlicontent_encoding = res.headers["content-encoding"]
if content_encoding == "gzip":res.body = gzip.decompress(res.body)
elif content_encoding == "deflate":res.body = zlib.decompress(res.body)
elif content_encoding == "br":res.body = brotli.decompress(res.body)

wait_loading方法用于检测数据是否已经加载完毕，原理时每隔0.2秒查看一下loading组件是否还存在，不存在则说明加载数据的过程已经结束。

browser.requests缓存了游览器在访问过程获取的所有数据，就好像游览器开发者工具的Network，reversed(browser.requests)的目的是倒着查看数据，即优先查看最新获取的数据。通过这次方式，即使不清理历史缓存，也能较为正确获取数据。

del browser.requests的作用是清理缓存，目的是在下一次点击访问前先清理历史缓存，从而使数据获取的速度变得更快。

selenium对接代理与seleniumwire访问开发者工具NetWork相关推荐

「Python爬虫系列讲解」十四、基于开发者工具 Network 的数据抓包技术
本专栏是以杨秀璋老师爬虫著作<Python网络数据爬取及分析「从入门到精通」>为主线.个人学习理解为主要内容,以学习笔记形式编写的. 本专栏不光是自己的一个学习分享,也希望能给您普及一些关 ...
chrome浏览器开发者工具network面板过滤、隐藏指定的请求
在我的这篇文章中介绍了,怎么在开发者工具network面板中屏蔽请求,但是屏蔽请求的意思是这个请求不会再发出去,如果是功能性请求,直接屏蔽掉会影响功能,所以我们一般很少用到. 我们常用的方法其实是过滤 ...
Chrome开发者工具network标签页里的transferred over network和resources loaded by the page的区别
如下图所示: network底部有1.1 MB transferred over network和5.1 MB resources loaded by the page. 这两个大小有何区别? 有中文 ...
Chrome开发者工具Network标签页中观察到的set-cookie jsessionid是什么东西
在Chrome开发者工具里经常能观察到HTTP响应里包含的字段: Set-Cookie: JSESSIONID= XXX 之后,就能在客户端cookie里观察到JSESSIONID=后面的值. 根据G ...
谷歌开发者工具 Network：Disable cache 和 Preserve log
参考博文地址:https://my.oschina.net/af666/blog/871793 Network Disable cache(禁止缓存):勾上,修改代码之后,刷新页面没有更新,看有没有禁 ...
Angular http client发起的请求在Chrome开发者工具network标签页里观察到的界面
源代码: import { Injectable } from '@angular/core'; import {HttpClient} from '@angular/common/http';@In ...
Chrome 开发者工具无法显示服务器正常返回的 HTTP 请求 - Failed to load response data
今天做开发时遇到一个问题,Chrome 开发者工具 network 标签里,虽然一个 HTTP 请求已经成功从服务器端返回,但是 Chrome 开发者工具里,仍然显示 Failed to load r ...
使用 Chrome 开发者工具研究一个基于 Angular 开发的网站源代码
Chrome 开发者工具是前端开发工程师工具箱里使用频率最高的工具之一. 本文通过一个具体的例子,给大家分享笔者工作中,是如何通过 Chrome 开发者工具,分析一个网站的实现明细. 下图是 SAP ...
微信开发者工具，出现“当前系统代理不是安全代理,是否信任？”
网上找了很多种方法,如:在目录下找"当前系统代理不是安全代理",最新版(1.03.2010240),发现搜索不到,还有方法就是改注册表的,看过评论也没有用,当然过于麻烦没有尝试,最 ...

selenium对接代理与seleniumwire访问开发者工具NetWork

selenium对接代理与seleniumwire访问开发者工具NetWork相关推荐

最新文章

热门文章