我的情况

我在爬取某网站的时候发现网站做了防爬措施，在请求api的时候返回{"code":40005,"msg":"req json error"}遇到这种问题就要多分析你所爬取的网站是如何请求数据的，然后相应的修改你的请求头信息。

附上我的问题解决

然后发现在payload（负载）里面

这些请求负载也要转为json格式封装到请求头里面就可顺利请求api数据了。

总结

遇到请求数据返回失败的情况要多分析网站是如何请求的。查看自己是否请求头里面缺少必要的数据。

爬虫在遇到post请求时的一种解决{“code“:40005,“msg“:“req json error“}问题的思路相关推荐

云服务器被ddos进黑洞时的一种解决方法
用阿里云ECS服务器容易被DDOS进黑洞而又没钱购买DDOS高防IP时. 并不是没有其他的解决办法,因为有很多ISP提供价格较为低廉的高防服务器. 每个月也才几千块钱,相较阿里云动辄几万每月的高防服务 ...
网络爬虫ip防止被封常见的三种解决方法
想要爬虫顺利的采集数据,首先要能突破网站的反爬虫机制,还要防止ip被限制的风险.这样才能提高爬虫工作的效率,那么爬虫时如何防止ip被封? 一.高匿名代理需要突破网站的反爬虫机制,少不了代理ip,借助 ...
mybatis高级(2)_数据库中的列和实体类不匹配时的两种解决方法_模糊查询_智能标签...
<?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE mapper PUBLIC "- ...
【爬虫进阶】常见的反爬手段和解决方法（建议收藏）
爬虫进阶:常见的反爬手段和解决思路 1 服务器反爬的原因 2 服务器常反什么样的爬虫 3 反爬虫领域常见的一些概念 4 反爬的三个方向 5 常见基于身份识别进行反爬 5.1 通过headers字段来反 ...
爬虫进行request请求时User-Agent怎样写
场景在写爬虫进行request请求时,如果不能正常请求就要添加请求头. 常用的是修改User-Agent来伪装浏览器. 我们除了复制之外,这里可以参照一个库叫fake-useragent. 网址: ...
当你写爬虫遇到APP的请求有加密参数时该怎么办？【初级篇-秒杀模式】
文章转载自公众号小周码字看完了初级篇的常规模式之后,你是不是发现了一个很严重的问题:如果每个APP都需要这么反编译看代码仿写的话,那么当想要大批量爬不同的APP的时候,光是找加密参数的生成部分就已经 ...
草稿爬虫-访问登陆可见的页面-请求时带上cookie数据
小结在发起请求时,在请求头中带上cookie数据然后访问登陆后可见的网页那么就可以实现目标,获取博客后台草稿文章数量文章管理-CSDN博客 https://mp.csdn.net/ 未登陆的 ...
【网络爬虫】(1) 网络请求，urllib库介绍
各位同学好,今天开始和各位分享一下python网络爬虫技巧,从基本的函数开始,到项目实战.那我们开始吧. 1. 基本概念这里简单介绍一下后续学习中需要掌握的概念. (1)http 和 https 协 ...
Python爬虫(一)_HTTP的请求与响应
HTTP和HTTPS HTTP(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收HTML页面的方法 HTTPS(HyperText Transfer Prot ...

爬虫在遇到post请求时的一种解决{“code“:40005,“msg“:“req json error“}问题的思路

我的情况

附上我的问题解决

总结

爬虫在遇到post请求时的一种解决{“code“:40005,“msg“:“req json error“}问题的思路相关推荐

最新文章

热门文章