Python爬虫

对于现在的爬虫程序来说，PC端网页数据往往并不理想。比如就拿CSDN来说，一篇帖子是否上热榜其根据的是App端数据，并不是PC端网页数据。

这也是时代的进步，从PC端到移动端，而且还有像小红书一样的App，其根本不提供PC端网页，只有App，要爬取这些数据，普通的Python爬虫肯定已经淘汰。

所以，我们需要借助Charles来抓取手机的HTTP与HTTPS数据包。尽然要通过Charles软件来抓取，我们首先要做的就是安装它。下载地址如下：

https://www.charlesproxy.com/latest-release/download.do

然后点击对应的操作系统进行下载即可。

配置Charles

安装完成之后，我们并不能直接获取App端的数据。因为你的手机交互并不会发送数据到Charles软件。所以，我们需要一系列的设置。

设置手机代理服务器

首先，我们运行Charles软件，选择Proxy-Proxy Settrings。在弹出的对话框之中设置如下信息：

接着，我们需要进入手机的WIFI中，设置连接的代理服务器。你需要查看的电脑安装Charles软件的局域网IP，同时设置成刚才的8888接口。

当这些步骤完成之后，你的手机打开任何一个进行网络交互的App都能捕获其网络请求，比如博主这里打开的微博，效果如下：

安装证书

不过，因为微博数据并不是HTTP请求，而是HTTPS请求，所有，我们需要安装证书后才能进行解析操作。具体的步骤如下：

安装PC证书

想通过Charles软件监听HTTPS数据，必须在PC端与手机端同时安装相应的证书。

在PC端安装的步骤：Charles软件-Help-SSL Proxying-Install Charles Root Certificate，效果图如下所示：

接着，点击安装证书，然后点击选择本地计算机，最后选择首信任的设备即可完成安装，具体步骤如下：

到这里，我们电脑端的证书就已经安装完成。

安装Android手机证书

接着，我们需要安装Android手机证书，具体步骤如下：

首先，在浏览器中输入http://chls.pro/ssl，或默认下载手机证书，你选择下载位置，然后导入到手机即可。

接着，我们在Android的设置中搜索证书，然后点击安装证书，在文件夹中找到对应的证书进行安装即可。

到这里，我们就可以获取到真实的信息了，再也不是unknown。但是，并不是到这里我们就可以获取真实的信息，因为现在显示的有可能是乱码。

我们需要前往Proxy – > SSL Proxying Aetting – > 在SSL Proxying 标签下勾选Enable SSL P roxying，然后Add 添加Location信息，如下所示：

添加完成之后，我们进入京东的秒杀页面，可以得到如下信息数据，这里都是中文，也是json数据格式，如下所示：

到这里，PC端与Android移动端的证书都安装成功了，现在可以分析具体的App请求数据，然后根据这些数据进行爬虫的开发与分析。

Python爬虫：爬取手机App数据，记得安装配置Charles相关推荐

Python爬虫爬取手机APP的数据
1.抓取APP数据包方法详细可以参考这篇博文:http://my.oschina.net/jhao104/blog/605963 得到超级课程表登录的地址:http://120.55.151.61/ ...
以某乎为实战案例，教你用Python爬取手机App数据
1 前言最近爬取的数据都是网页端,今天来教大家如何爬取手机端app数据(本文以ios苹果手机为例,其实安卓跟ios差不多)! 本文将以『某乎』为实战案例,手把手教你从配置到代码一步一步的爬取App数 ...
教你用Python爬取手机App数据!居然有人说爬不了APP
最近爬取的数据都是网页端,今天来教大家如何爬取手机端app数据(本文以ios苹果手机为例,其实安卓跟ios差不多)! 本文将以『某乎』为实战案例,手把手教你从配置到代码一步一步的爬取App数据! 2. ...
Python爬虫实战：手机APP数据抓取分析！谁说不能爬取app数据的？
大多数手机APP里面返回的是json格式数据,或者一堆加密过的数据 .这里以超级课程表APP为例,使用python抓取超级课程表里用户发的话题.主要是练习python爬取app的一些方式和技巧. 1. ...
python爬取王者_教你用Python爬取手机APP数据！以王者荣耀的数据信息为例
前言在我们在爬取手机APP上面的数据的时候,都会借助Fidder来爬取.今天就教大家如何爬取手机APP上面的数据. 环境配置 1.Fidder的安装和配置下载Fidder软件地址:https:// ...
python爬取网页代码-python爬虫爬取网页所有数据详细教程
Python爬虫可通过查找一个或多个域的所有 URL 从 Web 收集数据.Python 有几个流行的网络爬虫库和框架.大家熟知的就是python爬取网页数据,对于没有编程技术的普通人来说,怎么才能快 ...
python爬虫爬取58网站数据_Python爬虫，爬取58租房数据字体反爬
Python爬虫,爬取58租房数据这俩天项目主管给了个爬虫任务,要爬取58同城上福州区域的租房房源信息.因为58的前端页面做了base64字体加密所以爬取比较费力,前前后后花了俩天才搞完. 项目演示 ...
python 爬虫表格,python爬虫爬取网页表格数据
用python爬取网页表格数据,供大家参考,具体内容如下 from bs4 import BeautifulSoup import requests import csv import bs4 #检查 ...
python爬虫爬取斗鱼直播数据
from time import sleepimport requests from bs4 import BeautifulSoup# 爬取分类页面数据 #获取斗鱼分类页面数据 def get_di ...
Python爬虫：详解Appium如何爬取手机App数据以及模拟用户操作手势
目录 Appium 模拟操作屏幕滑动屏幕点击屏幕拖动屏幕拖拽文本输入动作链实战:爬取微博首页信息 Appium 在前文的讲解中,我们学会了如何安装Appium,以及一些基础获取App元素 ...

Python爬虫：爬取手机App数据，记得安装配置Charles

目录