Python pyppeteer通过cookie获取数据（cookie爬虫）

1. 利用EditThisCookie插件获取页面cookie

2. 源码实例

        """set browser"""browser = await launch({"headless": False,"executablePath": "F:\\chrome-win32\\chrome.exe","args": ["--disable-gpu","--disable-web-security","--disable-xss-auditor",  # 关闭 XSS Auditor"--no-sandbox","--disable-setuid-sandbox","--allow-running-insecure-content",  # 允许不安全内容"--disable-webgl",],"ignoreHTTPSErrors": True  # 忽略证书错误})width, height = screen_size()page = await browser.newPage()tasks = [# 设置UAasyncio.ensure_future(page.setUserAgent(random.choice(user_agents))),# 启用JS，不开的话无法执行JSasyncio.ensure_future(page.setJavaScriptEnabled(True)),# 关闭缓存asyncio.ensure_future(page.setCacheEnabled(False)),# 设置窗口大小asyncio.ensure_future(page.setViewport({"width": width, "height": height}))]await asyncio.wait(tasks)cookies = [{},{}]for item in cookies:await page.setCookie(item)"""Search"""url = "https://www.abc.cn"await page.goto(url, {"waitUntil": "networkidle2", "timeout": 30000})

Python pyppeteer通过cookie获取数据（cookie爬虫）相关推荐

Python Socket请求网站获取数据
Python Socket请求网站获取数据 ---阻塞 I/O ->收快递,快递如果不到,就干不了其他的活 ---非阻塞I/0 ->收快递,不断的去问,有没有送到,有没有送到,. ...
php 模拟post带cookie,php利用curl模拟post登录，传递cookie获取数据
一般我们会用curl抓取其他网站的数据,不过一些网站会设置成登录后才可以获取数据,这样一来我们就需要利用curl模拟登录保存cookie,并且传递cookie伪装和网站建立通信,获取到数据. curl ...
python爬取大众点评数据_python爬虫实例详细介绍之爬取大众点评的数据
python 爬虫实例详细介绍之爬取大众点评的数据一． Python作为一种语法简洁.面向对象的解释性语言,其便捷性.容易上手性受到众多程序员的青睐,基于python的包也越来越多,使得python ...
python从ip端口获取数据_python 如何获得Ip地址和端口啊？
1.什么是爬虫爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来.想抓取什么?这个由你来控制它咯. ...
php 获取微博cookie,获取新浪微博cookie
之前也百度了一下如何获取新浪微博cookie,附上其中出现频率最高的教程的网址 https://www.douban.com/note/264976536/?start=0#32893498 自己按照 ...
如何利用python调用API接口获取数据进行测试
一.Python 可以使用 requests 库来调用 API 接口获取数据.以下是基本的步骤: 1.安装 requests 库 pip install requests 2.导入 requests ...
python调用第三方接口获取数据_python调用接口,python接收post请求接口(附完整代码)...
与Scala语言相比,Python有其独特的优势和广泛的应用,python调用接口,因此Spark也推出了PySpark,它在框架上提供了一个使用Python语言的接口,python接收post请求接 ...
如何用Python从数据库里面获取数据？4个步骤就能轻松实现
数据存放在MySQL里面,在数据库里面查询发现有个字段的数据是JSON格式,不方便进行后续的操作,比方说:统计分析,特征提取等.所以想把这个字段里面的JSON格式数据进行解析,解析成功后,然后把以结构 ...
python爬取多页数据_python爬虫实现爬取同一个网站的多页数据代码实例
本篇文章小编给大家分享一下python爬虫实现爬取同一个网站的多页数据代码实例,文章代码介绍的很详细,小编觉得挺不错的,现在分享给大家供大家参考,有需要的小伙伴们可以来看看. 一.爬虫的目的从网上获 ...

Python pyppeteer通过cookie获取数据（cookie爬虫）

1. 利用EditThisCookie插件获取页面cookie

2. 源码实例

Python pyppeteer通过cookie获取数据（cookie爬虫）相关推荐

最新文章

热门文章