Python爬虫：爬取instagram，破解js加密参数

Python爬虫：爬取instagram，破解js加密参数
instagram 是国外非常流行的一款社交网站，类似的还有像facebook、twitter，这些社交网站对于掌握时事热点、电商数据来源和竞争对手的动态信息的把我都是很有数据价值的，所以值钱的数据谁都想获取，那就意味着谁都想保护，那么下面就来聊一聊怎么爬取ins的信息。

一、需求分析：
爬取instagram这个用户的图片、评论数、点赞数、文章内容，存为Json格式

二、站点分析：
首先自行准备翻墙工具，准备好以后，打开instagram官方账号，同时按下F12，如下所示：

切换到network选项，随便选择一张图片的url，全局搜索，如下图：

可以发现：instagram把数据写到了script标签里面，这是一种常见的做法，放到js里面去加载，所以我们需要用到正则表达式去做匹配：

解释一下：首先爬取首页的数据，然后正则表达式匹配script标签传来的后台数据，转换成json格式，同时还需要找出user_id和GIS_rhx_gis参数(破解js加密需要用到)，最后解析数据。

爬取完首页以后，我们就要爬取下一页的数据了，可以发现下一页的数据是ajax异步加载的方式，返回的是json格式的数据，如下图：

请求的url格式为：

"https://www.instagram.com/graphql/query/?query_hash=5b0222df65d7f6659c9b82246780caa7&variables=%7B\"id\"%3A\"{id}\"%2C\"first\"%3A12%2C\"after\"%3A\"{end_cursor}\"%7D"
复制代码
经过我测试，发现必须要带上 x-instagram-gis这个参数，否则会报 403 forbideen错误，这是ins的反爬虫机制：

那么如何生成这个参数呢？全局搜索，找到这个参数的js文件，复制一份拷贝到本地，我用的是Pycharm，一路追踪过去，可以找到生成这个参数的方法，我总结为：

1. 从用户首页https://www.instagram.com/instagram/获取user_id、rhx_gis、end_cursor参数
2. variables = '{"id":"' + id + '","first":12,"after":"' + end_cursor + '"}'，对 params = rhx_gis + ":" + variables进行md5加密
3. headers加入"x-instagram-gis": params,即可进行抓取
复制代码

生成这个参数以后，我们就可以下一页的抓取了~

三、源码：
github.com/Mrrrrr10/In…

Python爬虫：爬取instagram，破解js加密参数相关推荐

python爬虫爬取大众点评店铺简介信息
python爬虫爬取大众点评店铺简介信息写作目的: 爬取目标大众点评的保护机制应对方法还存在的问题写作目的: 今天帮朋友一个忙,要爬取一些大众点评上的数据.结果发现大众点评的防爬机制还挺多的 ...
使用Python爬虫爬取网络美女图片
代码地址如下: http://www.demodashi.com/demo/13500.html 准备工作安装python3.6 略安装requests库(用于请求静态页面) pip instal ...
四小时学python爬虫爬取信息系列（第一天）
四小时学python爬虫爬取信息系列(第一天)(全是干货) 1.安装requests库(可以在电脑python,我是进入anaconda我建的虚拟环境) anaconda虚拟环境法流程: conda ...
Python爬虫爬取微信朋友圈的方法，感兴趣的朋友可以了解下
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 小雨 | 作者 python教程 | 来源接下来,我们将实现微信朋友圈的 ...
python爬虫爬取网易云音乐歌曲_Python网易云音乐爬虫进阶篇
image.png 年前写过一篇爬网易云音乐评论的文章,爬不了多久又回被封,所以爬下来那么点根本做不了什么分析,后面就再改了下,加入了多线程,一次性爬一个歌手最热门50首歌曲的评论,算是进阶版了- 思 ...
Python爬虫---爬取腾讯动漫全站漫画
Python爬虫---爬取腾讯动漫全站漫画操作环境网页分析明确目标提取漫画地址提取漫画章节地址提取漫画图片编写代码导入需要的模块获取漫画地址提取漫画的内容页提取章节名获取漫画源 ...
Python爬虫爬取微信朋友圈
更多编程教程请到:菜鸟教程 https://www.piaodoo.com/ 友情链接: 高州阳光论坛https://www.hnthzk.com/ 人人影视http://www.op-kg.com/ ...
python爬虫——爬取搜狗影视热门电视剧
python爬虫--爬取搜狗影视热门电视剧 1.结果图 2.这次爬取的网址请点击传送门搜狗影视热门电视剧 3.先构建请求头,请求头直接复制过来 4.接下来先请求这条url,通过format方法实现对 ...
python爬虫——爬取马蜂窝景点翻页文字评论
python爬虫--爬取马蜂窝景点翻页文字评论使用Chrome.python3.7.requests库和VSCode进行爬取马蜂窝黄鹤楼的文字评论(http://www.mafengwo.cn/po ...

Python爬虫：爬取instagram，破解js加密参数

Python爬虫：爬取instagram，破解js加密参数相关推荐

最新文章

热门文章