python使用browsermbproxy获取网页xhr(edge浏览器)

网上大部分用谷歌浏览器获取网页network

这里我用的是microsoft edge浏览器

python selenium+browsermobproxy环境配置

1.安装browsermbproxy

链接：https://github.com/lightbody/browsermob-proxy

2.安装 microsoft edge webdiver

查看浏览器版本

microsoft edge webdiver网址:

https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/

不要忘记配置环境变量

这里的selenium要更新到selenium4

支持selenium Tools for Microsoft Edge

https://learn.microsoft.com/en-us/microsoft-edge/webdriver-chromium/#upgrading-from-selenium-3

selenium3一部分被弃用该网站也有系统的说明

要安装java11

完整代码：

from browsermobproxy import Server
from selenium import webdriver
from selenium.webdriver.edge.options import Options
from msedge.selenium_tools import Edge, EdgeOptions
import time

server = Server(r'C:\browsermob-proxy-2.1.4-bin\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat')#proxy位置
server.start()
proxy = server.create_proxy()

# chrome_options = Options() 模仿谷歌形式
edge_options = EdgeOptions()

edge_options.add_argument('--proxy-server=127.0.0.1:8087')
# edge_options.add_argument('--proxy-server={0}'.format(proxy.proxy))
edge_options.add_argument('--ignore-certificate-errors')
edge_options.add_argument('--disable-gpu')
driver=Edge(executable_path="C:/Program Files (x86)/Microsoft/Edge/Application/msedgedriver1.exe",options=edge_options)#webdiver地址

# # 要访问的地址
base_url = "https://www..com/"#任意地址
proxy.new_har("ht_list2", options={'captureContent': True, 'captureHeaders': True, 'captureBinaryContent': True})

driver.get(base_url)

# 此处最好暂停几秒等待页面加载完成，不然会拿不到结果
time.sleep(3)
result = proxy.har
print(result)

python使用browsermbproxy获取网页xhr(edge浏览器)相关推荐

利用python模块pandas获取网页表格，并保存为excel
文章只用于学习交流利用python模块pandas获取网页表格. 网页上的表格内容,想要保存下来,有没有办法呢?答案是有的. 主要有两个步骤, 一是读取表格内容, 二是保存读取后的内容. 在这里只讲 ...
header python 环境信息_python获取网页header头部信息（python小白学习笔记二）
方法一:代码查看通过python获取网页的链接url,返回码,以及相关的信息 #对反爬虫网页,可以设置一些headers信息,模拟成浏览器取访问网站 import urllib.request ur ...
Python selenium Browsermob-Proxy获取网页加密请求参数的方法及过程
一.问题爬虫在获取页面数据时可能会遇到许多页面异步加载.js加密.动态Cookie等问题,我们在做爬虫开发的时候经常用到浏览器的开发者工具,分析网页元素,查看资源加载(Network)等.Selen ...
批量采集html软件,在线批量获取网页链接工具浏览器插件版-♚付涛纪实阁♚
这两天在弄网站蜜蜂采集的时候,发现原来收藏的一个[在线批量获取网页链接工具]工具对应的网站已经不知道什么原因打不开了:在百度里面通过这个词去一搜索,一初搜索,看到百度结果里面拥有大量的匹配信息,但是经 ...
python使用bs4获取网页排行榜数据(基础版)
1.首先来到B站排行榜页面,按F12分析结构 2.鼠标放在代码上,一行一行往下移动,不要急,给浏览器一点反应时间. 3.当你发现排行榜所在位置被覆盖了,如下图,证明排行榜的代码就在这里 4.接下来,打 ...
python 使用xpath获取网页标签内容
获取指定html的标签内容打开网页的开发者模式,得到路径标签,然后加上/text() 即可得到标签的文本内容//*[@id="sonsyuanwen"]/div[1]/h1 对于 ...
python urlopen 乱码_Python 2.7.3 urllib2.urlopen 获取网页出现乱码解决方案
出现乱码的原因是,网页服务端有bug,它硬性使用使用某种特定的编码方案,而并没有按照客户端的请求头的编码要求来发送编码. 解决方案:使用chardet来猜测网页编码. 1.去chardet官网下载ch ...
edge浏览器如何设置无痕浏览无痕浏览网页方法
首先打开电脑的Microsoft Edge浏览器,开始菜单-所有应用-Microsoft Edge. edge浏览器如何设置无痕浏览无痕浏览网页方法打开Microsoft Edge浏览器以后,点击 ...
edge浏览器如何把网页放到桌面_edge浏览器怎么把网页放桌面 - 卡饭网
win10 Edge浏览器怎么收藏网页到收藏夹并显示出来 win10 Edge浏览器怎么收藏网页到收藏夹并显示出来 win10 Edge浏览器怎么收藏网页到收藏夹并显示出来?自从安装了Win10正式版 ...

python使用browsermbproxy获取网页xhr(edge浏览器)

python使用browsermbproxy获取网页xhr(edge浏览器)相关推荐

最新文章

热门文章