《Python爬虫100例》复盘⑦，解决手机APP爬虫环境问题

文章目录

案例 41：Fiddler+夜神模拟器
案例 42：爬取儿歌多多APP数据
案例 43：百思不得姐APP数据
案例 44：Charles安装与使用
案例 45：Charles抓取兔儿故事
案例 46：Charles抓取手机收音机
案例 47：mitmproxy安装与模拟器
案例 48：使用mitmdump抓取手机惠农APP
案例 49：Appium安装+操作51JOB_APP
今日复盘结论
收藏时间

案例 41：Fiddler+夜神模拟器

这篇案例主要学习的其实是 Fiddler + 夜神模拟器的环境配置，因为多数情况下捕捉到手机APP的接口，就已经解决了爬虫的最大问题。

案例中使用的 fiddler 是 4.0 版本，整体的安装流程复盘了一下，无大问题。
学习过程中重点注意的是[证书的安装]，包括电脑证书，手机端证书。

这里也发现了一个评论，询问手机端证书问题，如果发现证书直接点击无法安装，请在手机端设置->安全里面找到从 SD卡安装证书，导入即可。

夜神模拟器就是一款普通软件，按照正常流程安装即可。
建议下载历史版本：https://support.yeshen.com/zh-CN/win-release/6612，最新版本使用的是安卓7.0，可能会碰到一些比较难的点。

案例 42：爬取儿歌多多APP数据

这篇案例重点学习 Fiddler 与模拟器的配合，过程中捕获的接口，测试之后，发现可以使用。

http://bb.ergeduoduo.com/baby/bb.php?type=getvideos&collectid=29&interver=8&page=1&pagesize=30&grade=-1_-1&user=866174010820641&prod=childstory_ar_4.0.5.0&corp=duoduo&source=childstory_ar_4.0.5.0_m360&srcver=story&ver=1&imei=866174010820641&protect=1

案例 43：百思不得姐APP数据

好家伙，这个APP没有了，建议大家切换一个段子类的APP，就可以继续学习啦，流程是一致的。

建议：段子大全，糗事段子手，内涵段子，每日经典段子……

案例 44：Charles安装与使用

本篇博客与案例41一致，使用的是另一款抓包软件 Charles，学习难度不大，安装之后，可以配合夜神模拟器获取到数据即可。

案例 45：Charles抓取兔儿故事

依旧是APP不存在了，好多APP竟然还没有我们的课程【存在】的时间长，这里将《兔儿故事》这款APP，切换为任意“儿童故事类APP”，即可实现一样的逻辑。

例如：幼儿园歌谣大全，宝宝催眠曲，宝宝学唱儿歌……

案例 46：Charles抓取手机收音机

本案例无问题，在博客中曾提及了 “荔枝APP”，可以去操作一把。

接口依旧可用：https://rapi.qingting.fm/categories/442/channels?&page=1&pagesize=30。

案例 47：mitmproxy安装与模拟器

本案例主要介绍的是爬虫辅助工具 mitmproxy，你将其理解为网页版的 Fiddler 就行，使用方式也十分类似。

原博客写作的时间始2019年1月，现在已经是2021年11月了，重点注意博客中的最后一张图片。

如果信仰有颜色，那一定是中国红！

案例 48：使用mitmdump抓取手机惠农APP

接口可用，案例无问题，《手机惠农》APP，好样的。

案例 49：Appium安装+操作51JOB_APP

这篇博客的重点是 Appium 的安装，在原版博客中使用的是 Appium-DeskTop 1.10 版本，如今你在打开其最新版本，已经变为了 v1.22.0，而且 Appium Inspector 也被分离了出去，关于 Appium 的安装教程，我将在新版《Python爬虫120例》中进行专门展示，如果你已经订阅《Python爬虫100例》，可以联系我获得单独的PDF文件。

Python 爬虫 100 例专栏，有反爬相关教程，学起来《Python 爬虫100 例》

今日复盘结论

今天复盘了 9 个案例，本部分博客，内容主要围绕手机APP抓包，所以在学习的时候，重点在抓包工具的采集与与安装上，各种APP，你可以去任意安卓商店下载、测试。

收藏时间

本期博客收藏过 400，立刻更新下一篇

今天是持续写作的第 260 / 200 天。
可以关注我，点赞我、评论我、收藏我啦。

更多精彩

Python 爬虫 100 例教程导航帖（抓紧订阅啦）