前言

这篇文章主要针对于毛概题库在手机APP上的情况，例如思政云APP。如果你是这种情况，请继续往下看。。

一、实现原理

我们都知道，如果我们要获取题库，肯定第一点，我们得需要先获取他的源码，网页的源码F12可以查看，对于手机app其实也一样，因为他不可以一键查看，所以我们需要抓包工具获取手机想外面发出去的请求，这就是我们需要做的第一步的准备，需要先准备一个抓包工具，对于常见的抓包工具，我知道有fiddler和青花瓷两个。在这里，我是用fiddler抓包的，青花瓷我没有用，所以下面我所说的抓包都是指fiddler这个软件。

至于这个软件的下载，我放倒了一个群里面，在文章末尾，会有群名。

那么在准备好这个抓包工具之后，我们也应该想到，怎么才能让手机发出去的数据被这个转包工具给获得呢？其实很简单，就是给手机设置代理，让手机向外面发送数据的时候，通过这个代理，这样的话，这个代理上面的抓包工具就可以获取通过这个代理发出去的数据，从而获得手机发出去的数据。就是说，手机不直接发送数据，他把数据发给代理，让代理去帮他发，是这样子的一个关系。那么这个代理是谁呢？这个代理当然是我们自己的电脑了，对吧，不然你手机上往外发送的数据都被截取走了。

理解这两个步骤，就相当于已经懂了大概原理了，但其中，也还有一个小细节是需要知道的，这个小细节也很重要。

这就是为什么app会把数据乖乖的交给你代理的这个抓包软件呢？这就涉及到了安全证书的话题

什么是安全证书呢？

可以这么简单的理解，他就好比指纹识别，只有能够正确的进行指纹识别，app才会把数据交付给这个服务器。

那么这个安全证书是由谁来颁布的呢？

他一般是由权威的第三方机构所颁布的数字证书，具体他是什么东西，他就好比一个能证明你是真正的你，不是冒充的你这样子的作用。

那么这个安全证书是如何工作的呢？

这实际上就是建立握手的过程，验证交换中的一方或者双方以此建立通信。其实具体他们是怎么实现的，我也未知，我们只需要知道，你有了这个安全证书，就能证明你是安全的，就能在彼此间建立连接。

对了，还有一个小知识，就是网段。我们知道每一个联网的电脑都有一个对应的IP地址，IP在经过子网掩码的划分，确定出网络部分和主机部分，其中，网络部分上，主机部分全置零，则这个IP表示的是网段，若网络部分上，主机部分全置一，则这个ip表示的是广播段，我们要实现的代理的第一个部分，就是让电脑和手机在同一个网段下，所以他们的子网掩码必须是相同的，我采用的方法是让手机和电脑连接同一个热点，这样他们就会处于同一个网段下，然后设置代理，实现抓包。

二、实现过程

第二部分主要讲述的是实现步骤：

首先我们需要在电脑上安卓一个fiddler，并且对其进行初始化设置。他的安装我放在群里面了，文章末尾有群号，可以入群来下。

下好之后，需要初始化设置，我们直接放图操作

这个操作的目的相当于就是打开设置

打开之后应该就是这个样子

我们需要设置的第一例选项，然后在标记的地方全打对勾

我们需要设置的第二例选项，端口的话，可以设置成8888。

那么端口可以设置成别的吗？我的理解是，只要你开通了这个端口，并且这个端口是空闲的，就应该可以。因为端口的范围是0-65535，但一般情况下，0-1024这些端口都是已经用于指定的服务了，所以你如果要自己设置端口，最好不去使用这些端口。

我们需要设置的第三例选项，就是证书的获取

点击图示的按钮，就可以获取证书，然后我们需要将证书再发送到手机上，进行安装，不同的手机证书的安装在不同的地方，我的证书安装实在连接wifi的时候有高级设置，可以安装，你们的也可以找一下

安装完之后，fiddler的初始化基本完成了，接下来我们需要将手机和电脑联网，并将其处于同一个网段。

在这里我采用的是用舍友的手机开热点，用我的手机和电脑同时连接这个热点，这样电脑和手机就会处于同一个网段。但这里有一点需要注意，就是如果用自己的手机给自己的电脑开热点，他们也会处于同一个网段，但是需要注意，此时的手机相当于路由器，电脑相当于用户，电脑连接了手机，手机在电脑的上一层，这时候是无法通过设置代理让电脑监听手机的，所以这种情况是抓不到包的。

当连接好同学的热点之后，需要设置代理，代理设置如图所示。
当你脸上热点之后，应该是这个界面

然后，你只需要在电脑上windows+R,在命令框中输入cmd，打开cmd命令行，在cmd命令行中输入ipconfig，从而获得电脑联网时候的ip地址。需要注意，由于手机做热点，只能发射ipv4版本的流量热点，所以，此时的ip地址指的是ipv4地址。注意：如果电脑是连接wifi的话，一定是无线局域网适配器WLAN下面的IPV4地址。

图片长这样：

然后，你就获得了电脑的ip地址，接下来只需要将他填写到手机的手动设置代理的用户名上即可，如图所示：

自此，我们就实现了将电脑和手机设置在同一个网段下，并且实现了电脑监听手机app数据的功能

如果我们在手机上打开知乎，那么fiddler抓到的包，应该是这样的：

然后就很简单了，你接下来只需要在手机上打开思政云，然后打开某一章节的习题，电脑上的抓包工具就可以获得这章习题的源码。

总结

在把这些源码保存下来，然后在使用正则解析进行提取，最后把他们放到一个xls文件中，完成此次爬取。至于正则解析提取，感觉自己又会说很多，放在下一节中进行详细描述。

群号：1033047396，另外，大家如果还有什么想要看爬取的教程，欢迎私信，我会努力去爬的

(超详细)手把手带你爬取南邮毛概马原思修题库相关推荐

【Python爬虫实例学习篇】——5、【超详细记录】从爬取微博评论数据（免登陆）到生成词云
[Python爬虫实例学习篇]--5.[超详细记录]从爬取微博评论数据(免登陆)到生成词云个人博客地址:ht/tps://www.asyu17.cn/ 精彩部分提醒: (1)微博评论页详情链接为一个 ...
超详细解析python爬虫爬取京东图片
超详细图片爬虫实战实例讲解(京东商城手机图片爬取) 1.创建一个文件夹来存放你爬取的图片 2.第一部分代码分析 3.第二部分代码分析完整的代码如下所示: 升级版代码: 爬取过程中首先你需要观察在手 ...
手把手带你爬取百度美女图片，Python练手项目！
本文纯技术角度出发,教你如何用Python爬虫获取百度美女图片--技术无罪. 目标站点百度图片使用关键字搜索小姐姐私房照 https://image.baidu.com/ 开发环境系统:Wind ...
手把手带你爬取猫眼电影，正则解析
猫眼电影 - 正则分析思路步骤分析过程中代码最终源代码猫眼电影 - 正则更多爬虫教程请移步 \color{red}更多爬虫教程请移步更
【爬虫】Yhen手把手教你爬取表情包，让你成为斗图界最靓的仔！
以下内容为本人原创,欢迎大家观看学习,禁止用于商业用途,转载请说明出处,谢谢合作! ·作者:@Yhen ·原文网站:CSDN ·原文链接:https://blog.csdn.net/Yhen1/art ...
python 批量下载网页图片_手把手教你爬取天堂网1920*1080大图片（批量下载）——实战篇|python基础教程|python入门|python教程...
https://www.xin3721.com/eschool/pythonxin3721/ /1 前言/ 上篇文章手把手教你爬取天堂网1920*1080大图片(批量下载)--理论篇我们谈及了天堂网 ...
怎么把4399小游戏的代码_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址目标网 ...
手把手带你爬天猫，获取杜蕾斯评论数据
↑ 关注 + 星标 ~ 有趣的不像个技术号每晚九点,我们准时相约大家好,我是黄同学听说大家最近对爬虫感兴趣,所以今天手把手带你爬天猫. 爬虫爬什么呢? 因为海报出圈的杜蕾斯,真的是家喻户晓. ...
常用Linux命令及其作用（超详细，带演示）
常用Linux命令及其作用(超详细,带演示) 文章目录常用Linux命令及其作用(超详细,带演示) 1. 提前了解 1.1 终端命令格式 1.2 --help 1.3 man command 查询使 ...
25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址目标网 ...

(超详细)手把手带你爬取南邮毛概马原思修题库

文章目录

前言

一、实现原理

二、实现过程

总结

(超详细)手把手带你爬取南邮毛概马原思修题库相关推荐

最新文章

热门文章