知乎使用爬虫时报10001:请求参数异常,请升级客户端后重试怎么搞?

前言:

在使用puppeteer自动爬取知乎上数据的时候,在登录的时候会报错: 10001:请求参数异常,请升级客户端后重试... 相信很多人在爬取知乎数据的时候也会碰到类似的问题,怎么解决呢?

解决方案:

先说说为什么会出现这种情况,知乎其实在对是不是用户活人的判断,是有一定的依据的,记得之前是通过window.navigator.webdriver 这个来判断是不是通过puppeteer来判断的,现在这个版本又换了.. 通过user-agent来判断了

上面的截图中我的user-agent是:

user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) awesomeScripts/1.0.0 Chrome/104.0.5112.102 Electron/20.1.1 Safari/537.36

具体是通过哪个判断我也不晓得,但是全部替换肯定没毛病.于是把这段user-agent换成了我正常电脑登陆的user-agent,

  await page.setUserAgent('Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36')

换完之后便可正常登录了.

另外如果想改变window.navigator.webdriver 为undefined只需要在跳转到url之前执行以下代码即可:

await page.evaluateOnNewDocument(() => {Object.defineProperty(navigator, 'webdriver', {get: () => undefined})});

总结:

其实服务端判断当前用户是否是正常的用户,就那么几个方式,最主要的是通过user-agent来判断,未来如果碰到相似的问题,都可以往这方面去靠.

知乎使用爬虫时报10001:请求参数异常,请升级客户端后重试怎么搞?相关推荐

订单参数异常,请重新下单后再发起付款(ALIN42273)
问题描述: 最近支付宝支付时常出现:订单参数异常,请重新下单后再发起付款(ALIN42273),之前产品App都是正常支付,现在用户反馈支付成功率很底,导致很多订单无法支付. 排除问题: 用户手机问题 ...
爬虫-requests库（二）get请求参数的使用 —搜狗搜索后爬取搜索结果
之前写过一个用urllib.request 爬取百度搜索后结果的小文章百度搜索关键词后爬取搜索结果这次用requests库实现下搜狗搜索后查询,代码 import requests from fa ...
拦截器获取请求参数post_SpringBoot拦截器如何获取http请求参数
1.1.获取http请求参数是一种刚需我想有的小伙伴肯定有过获取http请求的需要,比如想前置获取参数,统计请求数据做服务的接口签名校验敏感接口监控日志敏感接口防重复提交等等各式各样的场景 ...
ServletRequest HttpServletRequest 请求方法获取请求参数请求转发请求包含请求转发与重定向区别获取请求头字段...
原文地址:ServletRequest HttpServletRequest 请求方法获取请求参数请求转发请求包含请求转发与重定向区别获取请求头字段 ServletRequest 基本概念 ...
springboot接收get和post请求参数
一.get请求前端传参和后台接收的写法: 1.ajax请求: $.ajax({ url:'/user/login3',//contentType: 'application/json;charset= ...
python网页请求超时_python爬虫多次请求超时的几种重试方法(6种)
第一种方法 headers = Dict() url = 'https://www.baidu.com' try: proxies = None response = requests.get(url ...
java爬虫---问卷星自动提交问卷请求参数（jqsign，jqnonce等）解密
以https://www.wjx.cn/jq/35713991.aspx这个问卷页为例填完问卷打开控制台,转到network并且勾选preserver log(不然等会儿提交的请求看不到),点提交, ...
详解用Java实现爬虫：HttpClient和Jsoup的介绍及使用(请求方式、请求参数、连接池、解析获取元素)
一.介绍:何为爬虫网络爬虫(Web crawler)也叫做网络机器人可以代替人自动地在互联网中进行数据信息的采集和整理是一种按照一定的规则自动地抓取万维网信息的程序或者脚本可以自动采集所有 ...
Python爬虫：逆向分析酷我音乐请求参数（支持SQ超品音质）
文章目录前言 1. 请求分析 2. 获取参数 3. 完整代码结束语前言免责声明: 本篇博文的初衷是分享自己学习逆向分析时的个人感悟,所涉及的内容仅供学习.交流,请勿将其用于非法用途 ...

知乎使用爬虫时报10001:请求参数异常,请升级客户端后重试怎么搞?

知乎使用爬虫时报10001:请求参数异常,请升级客户端后重试怎么搞?相关推荐

最新文章

热门文章

知乎使用爬虫时报10001:请求参数异常,请升级客户端后重试 怎么搞?

知乎使用爬虫时报10001:请求参数异常,请升级客户端后重试 怎么搞?相关推荐

最新文章

热门文章

知乎使用爬虫时报10001:请求参数异常,请升级客户端后重试怎么搞?

知乎使用爬虫时报10001:请求参数异常,请升级客户端后重试怎么搞?相关推荐