python微信小程序爬虫_Python爬取微信小程序实战（通用）

背景介绍

最近遇到一个需求，大致就是要获取某个小程序上的数据。心想小程序本质上就是移动端加壳的浏览器，所以想到用Python去获取数据。在网上学习了一下如何实现后，记录一下我的实现过程以及所踩过的小坑。本文关键词：Python，小程序，Charles抓包

目标小程序：

公众号“同城商圈网”左下角“找商家”->汽车维修->小车维修->所有的商家信息，如下图所示：

环境

PC端：Windows 10

移动端：iPhone

软件：Charles

Charles抓包

虽说网上大佬的教程很好很详细，但我想加入几个坑点解释，因此又重新写了个博客，请点此查看Charles配置教程

Charles清空当前获取到的连接，防止干扰（学会使用这个黄色扫把！很有用）

打开微信小程序进入到指定界面，Charles中显示如下

进入到某个具体商家后，最先请求的是这个

于是我们猜测，这个可能就是小程序相关的http请求，点进去我们看一下

此时手机的界面是这样的

诶，好像就是这个！（其实我也是一个一个试了好久，多试试就会找到啦，当然如果你懂点英文，能看懂左侧的英文就更好了！merchant就是商家的意思~），

但是我们想要获取所有的商家信息怎么办呢？那就先点击Charles上的黄色小扫把~，再返回到商家列表看看

手机界面如下：

没错就是这个请求了！

分析请求

选中左边发送的请求，右边点击Overview选项卡，查看请求信息，我们不难发现这是个POST请求

我们知道POST请求提交的是表单，那么表单数据在哪里呢？我们可以在右边界面，鼠标右击，点击Copy Request就能获取表单数据了！

复制到这里看看：

{"pageIndex":1,"pageSize":50,"regionId":"8","categoryId":"148","orderRule":0}

看到这里，我们就能猜出个大概了，pageIndex是页码，pageSize是每页显示数量，regionId是地区编号，categoryId是货品编号，orderRule是排序规则，至此抓包结束，我们成功抓到了目标包！

本节抓包方法理论上适合所有小程序，其他的你们可以自行尝试哦~

编写python代码

这里我们就简单的写个demo

import requests

url = "http://api.tc688.net/api/services/app/merchant/LoadCategoryMerchants"

header = {

'Origin':'http://zazhi.tc688.net',

'Host':'api.tc688.net',

'User-Agent':'Mozilla/5.0 (iPhone; CPU iPhone OS 13_6_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 MicroMessenger/7.0.14(0x17000e2e) NetType/WIFI Language/zh_CN',

'Referer':'http://zazhi.tc688.net/companylist?id=148',

}

data = {"pageIndex":1,"pageSize":50,"regionId":"8","categoryId":"148","orderRule":0}

r = requests.post(url=url,data=data,headers=header)

print(r.text)

运行结果：

完整项目

有关数据处理以及更换地区的详细代码，请访问我的GitHub：GitHub

python微信小程序爬虫_Python爬取微信小程序实战（通用）相关推荐

python微信公众号爬虫_Python爬取指定微信公众号所有文章！
篇文章使用到的技术: mitmdump + 电脑版微信先分析打开可视化抓包工具, 勾选https代理.然后打开电脑版微信任意点击一个公众号,再点击查看历史消息注:想学习Python的小伙伴们可 ...
python爬虫爬微信数据可信吗_Python爬取微信，我发现了之前没发现的秘密！
技术群里一位读者微信私聊我,问我能不能统计下微信好友信息并以文件形式保存.其实,以前也写过类似的文章,一篇是微信好友性别统计,一篇是制作好友签名的词云图.比较分散,今天就索性把他们整合一下,一次性完成 ...
python爬虫能爬取微信密码吗_爬虫如何爬取微信公众号文章
下篇文章:python爬虫如何爬取微信公众号文章(二) 下下篇连接python爬虫如何实现每天爬取微信公众号的推送文章因为最近在法院实习,需要一些公众号的数据,然后做成网页展示出来便于查看,之前我倒 ...
python微信爬取教程_python爬取微信文章方法
本文给大家分享的是使用python通过搜狗入口,爬取微信文章的小程序,非常的简单实用,有需要的小伙伴可以参考下本人想搞个采集微信文章的网站,无奈实在从微信本生无法找到入口链接,网上翻看了大量的资料, ...
python爬取手机微信_Python爬取微信好友
前言今天看到一篇好玩的文章,可以实现微信的内容爬取和聊天机器人的制作,所以尝试着实现一遍,本文记录了实现过程和一些探索的内容 itchat安装对微信的控制可以使用itchat来实现,我们找到itc ...
python微信点赞脚本_Python爬取微信公众号评论、点赞等相关信息
微信公众号爬虫方案分析(爬取文艺相处公众号) 之前考虑过使用搜狗微信来爬取微信公众号信息,不过搜狗提供的数据有诸多弊端,比如文章链接是临时的,文章没有阅读量等指标,所以考虑通过手机客户端利用 Pyth ...
python爬取网上文章_python 爬取微信文章
本人想搞个采集微信文章的网站,无奈实在从微信本生无法找到入口链接,网上翻看了大量的资料,发现大家的做法总体来说大同小异,都是以搜狗为入口.下文是笔者整理的一份python爬取微信文章的代码,有兴趣的欢 ...
python听歌识曲爬虫_Python爬取网易云音乐热门评论的搜索结果-阿里云开发者社区...
网易云音乐评论爬虫(三):爬取歌曲的全部评论用过网易云音乐听歌的朋友都知道,网易云音乐每首歌曲后面都有很多评论,热门歌曲的评论更是接近百万或者是超过百万条．现在我就来分享一下如何爬取网易云音乐歌曲的 ...
【Python爬虫】爬取微信公众号文章信息准备工作
有一天发现我关注了好多微信公众号,那时就想有没有什么办法能够将微信公众号的文章弄下来,而且还想将一些文章的精彩评论一起搞下来.参考了一些文章,通过几天的研究基本上实现了自己的要求,现在记录一下自己的一 ...

python微信小程序爬虫_Python爬取微信小程序实战（通用）

python微信小程序爬虫_Python爬取微信小程序实战（通用）相关推荐

最新文章

热门文章