推荐4个爬虫抓包神器

2024-04-21 22:01:15

爬虫的基本原理就是模拟客户端（可以是浏览器，也有可能是APP）向远程服务器发送 HTTP 请求，我们需要知道目标服务器的 HOST、URI、请求方法、请求参数、请求头、请求体。Web 网站通过 Chrome 浏览器可以找到这些信息。但是对于 APP 爬虫，就显得有些束手无策。这时候必须借用一些抓包工具来辅助我们分析APP背后的秘密。

今天推荐4个HTTP代理工具通过抓包分析，帮助你还原APP背后的每个请求。

Fiddler

Fiddler 是 Windows 平台最好用的可视化抓包工具，也是大家最熟知的 HTTP 代理工具，功能非常强大，除了可以清晰的了解每个请求与响应之外，还可以进行断点设置，修改请求数据、拦截响应内容。

此外，还可以自定义规则，通过修改脚本，加入自己的特殊处理，不过因为它是 C# 编写的，如果你要写复杂的脚本，需要懂C#。

过滤器功能使得你可以通过正则表达式规则将你关心的请求显示出来，如果你只需要抓特定网站的数据，这个功能就显得非常有用，可以去除很多干扰信息。

Charles

Charles 是 macOS 平台下最好用的抓包分析工具之一，同样提供GUI界面，界面简洁，基本功能包括HTTP、HTTPS 请求抓包，支持请求参数的修改，最新的 Charles 4 还支持 HTTP/2。当然，也同时支持Windows 和 Linux，不过这款工具是要收费的，免费试用 30 天，试用期过后功能受限。

AnyProxy

AnyProxy 是阿里巴巴开源的 HTTP 抓包工具，基于 NodeJS 实现，优点是支持二次开发，可自定义请求处理逻辑，如果你会写JS的话，同时需要做一些自定义的处理，那么AnyProxy 是非常适合的。支持 HTTPS，提供了GUI界面。 GitHub地址：https://github.com/alibaba/anyproxy

mitmproxy

mitmproxy 是一款基于 Python，支持 SSL 的抓包工具，用 Python 写爬虫的一定会很喜欢，因为他不仅是跨平台的，而且提供的是命令行交互模式，很有极（zhuang）客（bi）感。mitmproxy 包含 3 款工具：

mitmproxy: 带交互的终端界面
mitmdump: mitmproxy 的命令行版本，类似于 tcpdump
libmproxy: 用于 mitmproxy/mitmdump 的库

GitHub 地址：https://github.com/mitmproxy/mitmproxy

推荐4个爬虫抓包神器相关推荐

推荐一款万能抓包神器：Fiddler Everywhere
搞IT技术的同行,相信没有几个人是不会抓包这项技能的(如果很不幸你中枪了,那希望这篇文章给你一些动力),市面上的抓包工具也有很多,常用的有:Charles.Fiddler.Burpsuite.Wire ...
强烈推荐一款万能抓包神器：Fiddler Everywhere
搞IT技术的同行,相信没有几个人是不会抓包这项技能的(如果很不幸你中枪了,那希望这篇文章给你一些动力),市面上的抓包工具也有很多,常用的有:Charles.Fiddler.Burpsuite.Wire ...
爬虫进阶：电脑软件手机APP常用的爬虫抓包工具
在学习爬虫进阶路上少不了用到一些抓包工具,今天就给大家隆重推荐6款爬虫抓包神器. 聊一聊:爬虫抓包原理爬虫的基本原理就是模拟客户端(可以是浏览器,也有可能是APP)向远程服务器发送 HTTP 请求, ...
墙裂推荐 - 四大抓包神器，非常好用
更多内容关注微信公众号:fullstack888 一.概述无论是开发还是测试,在工作中经常会遇到需要抓包的时候.本篇主要介绍如何在各个平台下高效抓包.目前的抓包软件总体可以分为两类,一种是设置代理抓 ...
一个令人赞不绝口的抓包神器！
这是「进击的Coder」的第 613 篇技术分享作者:小 G 来源:GitCube " 阅读本文大概需要 4 分钟. " 网络抓包,应该是大多数开发者必须掌握的技能之一.无论是你 ...
卧槽！两大抓包神器的视频教程来啦！
应读者的要求整理了两大抓包神器:Fiddler和Wireshark的视频教程!也是费了不少劲才整理出来的,要不是看读者是个妹子小白,我才懒的整理.哈哈!说来你们也是沾妹子的光!有需要的抓紧保存吧!无论 ...
四大网络抓包神器，总有一款适合你......
一.概述无论是开发还是测试,在工作中经常会遇到需要抓包的时候.本篇博客主要介绍如何在各个平台下,高效的抓包.目前的抓包软件总体可以分为两类,一种是设置代理抓取http包,比如Charles.mitm ...
抓包那些事——四大抓包神器简介
文章目录一.概述二.Wireshark 过滤语法简单介绍优缺点三.Tcpdump tcpdump的简单使用介绍优缺点四.Charles 优缺点五.mitmproxy 安装使用 1. 请 ...
关于fi dd ler 手机抓包网卡地址地址_抓包神器：tcpdump！我还真没用过
点击上方蓝色字关注我们~ 面试官你说你会网络编程?你说你熟悉网络知识,那你使用过tcpdump吗?能给我讲下tcpdump是什么,或者你有用过tcpdump解决过实际问题吗? 如果你学过网络,甚至搞 ...
抓包神器 Wireshark，帮你快速定位线上网络故障（3）
1 复习:TCP 三次握手&四次挥手正式分享之前,先简单复习一下 TCP 的三次握手.四次挥手. TCP 通过三次握手建立连接(一图解千愁): TCP 协议通过四次挥手断开连接(一图知所 ...

最新文章

热门文章