Fiddler 网页采集抓包利器_

用curl技术开发了一个微信文章聚合类产品，把抓取到的数据转换成json格式，并在android端调用json数据接口加以显示；

基于weiphp做了一个掌上头条插件，也是用的网页采集技术；和一个创业团队一起在做一个高考志愿填报系统，所有的数据也是从别的地方抓取。

总而言之，网页抓取与网页采集技术是一项非常实用的技能，他能让我们高效快速的获取我们开发产品所需要的一些基本数据。

网页抓取与网页采集过程中难免需要用到抓包技术，所谓抓包，就是我们在访问一个目标网站的时候，需要分析我们提交给浏览器的一些http请求以及提交给浏览器的一些数据，在知道请求是如何发起的以及post了哪些数据之后，我们才能针对目标网页写出相应的采集程序。特别是在模拟登陆一些需要用户进行登陆验证的网站时，抓包分析就变得很重要。

一些浏览器自带抓包分析工具或者有其可扩展的抓包插件，像火狐浏览器有firebug插件，IE浏览器有HttpWatch。每个抓包工具都有其独特的功能，这里就不一一介绍了，今天给大家介绍一个好用的抓包工具Fiddler。

手机APP抓包

现在我们来结合一个具体的例子来讲一下如何抓包分析手机APP的请求数据，并达到自己的需求。我这里给大家讲一个LOL盒子的抓包实例。

我们知道，LOL盒子没有网页版，或者说网页版的功能并不像手机APP一样数据整合的那么齐全。如果我们要做一个微信版的LOL盒子，让用户在微信端回复一些关键词就能查看一些基本信息，比如用户在微信中回复“英雄”就能查看LOL全部的英雄信息，包括出装、符文之类的。那么我们想在微信端实现这些功能，肯定需要数据库的支持，如果我们的数据从LOL官网抓取的话，免不了要写很多匹配规则，所以一个简单高效的方法是直接抓取LOL盒子已经整合了的数据。那么正题开始，我们开始抓LOL盒子集成的全部英雄的数据。

1、首先在手机下载LOL盒子，并进入首页（请忽略我这个战五渣的战斗力指数）

2、打开Fiddler并点Remove all把抓包信息全部清除

3、在LOL盒子中点击英雄进入查看英雄页面

4、可以看到查看英雄页面有免费、我的英雄、全部三个选项

5、这时候我们可以看到Fiddler已经抓到我们需要的数据接口了

6、我们在其中一个数据接口上面点击右键，复制url地址并在浏览器中打开

7、就能看到我们需要的周免英雄的数据接口了，是json格式的

到此为止，抓包分析的整个流程大家一目了然了，得到了json接口之后，我们就能用curl技术把数据采集下来，并把json格式的数据转换成数组或者其他格式，然后就可以存到我们自己的数据库中了，当用户在微信中回复关键词时，我们就从数据库中取出相应的数据并回复给用户就行了。

转载于:https://www.cnblogs.com/jxhd1/p/7762427.html

Fiddler 网页采集抓包利器__手机app抓包相关推荐

使用Fiddler对手机APP抓包详细教程
使用Fiddler对手机APP抓包详细教程在实现用Fiddler对手机APP抓包过程中遇到了两个很棘手的问题,一个是设置代理后手机就上不了网,在手机上下载证书一直提示下载失败,第二个就是在fiddl ...
fiddler 抓取手机app请求包
今天心血来潮,也不知道怎么了,想着抓抓我们公司手机app的包看看,研究研究我们公司的接口,哎,我们api文档,我自己抓包看看吧.工具选择fiddler,理由免费,用着也舒服,手机设备 iPhone6 ...
Fiddler无法抓手机APP数据包的解决办法
参考链接使用fiddler抓取手机上的HTTPS包 Fiddler抓不到手机APP数据包解决办法(检查步骤) Fiddler 正确配置(图是借来的,因为主要讲步骤) 手机与PC在同一网络中两台设 ...
使用Fiddler抓取手机APP数据包--360WIFI
使用Fiddler抓取手机APP流量--360WIFI 操作步骤: 1.打开Fiddler,Tools-Fiddler Options-Connections,勾选Allow remote compu ...
爬虫之手机APP抓包教程-亲测HTTP和HTTPS均可实现
当下很多网站都有做自己的APP端产品,一个优秀的爬虫工程师,必须能够绕过难爬取点而取捷径,这是皆大欢喜的.但是在网上收罗和查阅了无数文档和资料,本人亲测无数次,均不能正常获取HTTPS数据,究其原因是 ...
MAC系统利用charles抓取微信小程序和手机APP数据包(http和https数据包)
本文中使用的是mac上的抓包工具charles进行抓包,手机是华为荣耀8 下载并安装Charles for Mac Charles for Mac(HTTP信息抓包工具) V4.2.5 苹果电脑版要 ...
（实战项目一）手机App抓包爬虫
手机App抓包爬虫 1. items.py class DouyuspiderItem(scrapy.Item):name = scrapy.Field()# 存储照片的名字imagesUrls = ...
charles抓手机app的包的操作步骤
以下是本人整理的charles抓手机app的包的操作步骤,如有疑问或建议之类的可以私发我邮箱:谢谢 1.先设置代理服务器的端口号,如下图所示 2.选择在移动设备上安装 Charles 根证书. 3.会 ...
常用工具（一）——安卓手机app抓包burpsuite
手机app抓包工具:burpsuite 前提条件 1.保证手机与电脑在同一个无线局域网下 2.找到手机网络位置>打开详情>打开代理选择手动>主机名设为电脑IP(如图) 3.burp ...

Fiddler 网页采集抓包利器__手机app抓包

Fiddler 网页采集抓包利器__手机app抓包相关推荐

最新文章

热门文章