HTTP请求到爬虫代码的终南捷径

前阵子在做爬虫的时候学会了各种抓包,看到http请求的时候硬拼代码实在有点累.
后来发现Postman工具是直接可以把Postman请求直接生成对应的代码,这样一下来就美滋滋了.

那么最后的问题就成了,抓包的网络请求怎么转成Postman 请求了.

然后....

在Chrome开发者工具里面又找到了好东西.

首先打开需要的网站,我们以https://haojia.m.smzdm.com/tianmaoquan/ 为例.

F12到开发者模式-Network,接着刷新一下页面观察网络请求.

我们可以发现其中请求如下图:

很明显这就是我们要的请求了.

接着...

选中对应的请求,右键 Copy - Copy as cURL

然后大概拿到了下文一串cURL命令:

curl 'https://haojia.m.smzdm.com/tianmaoquan/get_data?category=zonghe&order=CouponConsumeCount&sort=&page=1&keyword=' -H 'Accept-Encoding: gzip, deflate, br' -H 'Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,da;q=0.7' -H 'User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1' -H 'Accept: application/json, text/plain, */*' -H 'Referer: https://haojia.m.smzdm.com/tianmaoquan/' -H 'Cookie: __ckguid=k3u6YR5FixgKfa62bIyUga6; _ga=GA1.2.679944293.1516270199; device_id=17532887221516270201203456ed594c266fd84551f01a413af71d5a6f; smzdm_user_source=875817C616D1ED42EB82F39DFE768D0B; __gads=ID=3e3801168e373540:T=1518695168:S=ALNI_MZfywByvg_Ynjo4BpUmdXH30U9wOg; wt3_eid=%3B999768690672041%7C2152247098000283145%232152247111500241744; __jsluid=78d672b28c72540c578b65d9e9ca98cb; _ga=GA1.3.679944293.1516270199; zdm_qd=%7B%7D; _gid=GA1.2.1251205158.1523178568; from=wap; Hm_lvt_9b7ac3d38f30fe89ff0b8a0546904e58=1522470824,1523178567,1523178905; Hm_lpvt_9b7ac3d38f30fe89ff0b8a0546904e58=1523178914' -H 'Connection: keep-alive' --compressed

放命令行跑一下,能看到正常返回:

接着我们回到Postman,选择Import

切到 Paste Raw Text

把cURL命令扔进去

点击一下Import,完整的请求自动导入了.

试一下:

然后....


var client = new RestClient("https://haojia.m.smzdm.com/tianmaoquan/get_data?category=zonghe&order=CouponConsumeCount&sort=&page=1&keyword=");
var request = new RestRequest(Method.GET);
request.AddHeader("postman-token", "bec86b0b-92d9-6903-8b18-25cad8b1f5cd");
request.AddHeader("cache-control", "no-cache");
request.AddHeader("connection", "keep-alive");
request.AddHeader("cookie", "__ckguid=k3u6YR5FixgKfa62bIyUga6; _ga=GA1.2.679944293.1516270199; device_id=17532887221516270201203456ed594c266fd84551f01a413af71d5a6f; smzdm_user_source=875817C616D1ED42EB82F39DFE768D0B; __gads=ID=3e3801168e373540:T=1518695168:S=ALNI_MZfywByvg_Ynjo4BpUmdXH30U9wOg; wt3_eid=%3B999768690672041%7C2152247098000283145%232152247111500241744; __jsluid=78d672b28c72540c578b65d9e9ca98cb; _ga=GA1.3.679944293.1516270199; zdm_qd=%7B%7D; _gid=GA1.2.1251205158.1523178568; from=wap; Hm_lvt_9b7ac3d38f30fe89ff0b8a0546904e58=1522470824,1523178567,1523178905; Hm_lpvt_9b7ac3d38f30fe89ff0b8a0546904e58=1523178914");
request.AddHeader("referer", "https://haojia.m.smzdm.com/tianmaoquan/");
request.AddHeader("accept", "application/json, text/plain, */*");
request.AddHeader("user-agent", "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1");
request.AddHeader("accept-language", "zh-CN,zh;q=0.9,en;q=0.8,da;q=0.7");
request.AddHeader("accept-encoding", "gzip, deflate, br");
IRestResponse response = client.Execute(re

完事...

同理使用Wireshark、Charles都有类似转cURL的功能，能拿到cURL命令都可以这样玩。

HTTP请求到爬虫代码的终南捷径相关推荐

python爬虫代码1000行-最精简的爬虫 --仅需4行代码（python）
最精简的爬虫 --仅需4行代码(python) 刚刚整理了下爬虫系列,于是乎就开始了第一次的技术分享今天,我们主要讲述的是思路,思路,思路. 相比起,直接贴代码,思路显的更为重要当初,自己的坑,希 ...
python教程：使用生成器重构提取数据方法来优化爬虫代码
前言在刚开始学习python的时候,有看到过迭代器和生成器的相关内容,不过当时并未深入了解,更谈不上使用了前两天在网上冲浪时,又看到了几篇关于生成器的文章,想到之前写的爬虫代码,其实是可以用生成器 ...
python简单好看的代码_Python新手写出漂亮的爬虫代码1
初到大数据学习圈子的同学可能对爬虫都有所耳闻,会觉得是一个高大上的东西,仿佛九阳神功和乾坤大挪移一样,和别人说"老子会爬虫",就感觉特别有逼格,但是又不知从何入手,这里,博主给大家 ...
postman生成python代码_别再用手敲了，这个工具可以自动生成python爬虫代码
我们在写爬虫代码时,常常需要各种分析调试,而且每次直接用代码调试都很麻烦所以今天给大家分享一个工具,不仅能方便模拟发送各种http请求,还能轻松调试,最重要的是,可以将调试最终结果自动转换成爬虫代码 ...
[转载] Python新手写出漂亮的爬虫代码1——从html获取信息
参考链接: Python中从用户获取多个输入 Python新手写出漂亮的爬虫代码1 初到大数据学习圈子的同学可能对爬虫都有所耳闻,会觉得是一个高大上的东西,仿佛九阳神功和乾坤大挪移一样,和别人说&qu ...
最简单的爬虫代码 python_最精简的爬虫 --仅需4行代码（python）
最精简的爬虫 --仅需4行代码(python) 刚刚整理了下爬虫系列,于是乎就开始了第一次的技术分享今天,我们主要讲述的是思路,思路,思路. 相比起,直接贴代码,思路显的更为重要当初,自己的坑,希 ...
python-12：怎么在爬虫代码中伪装header
2019独角兽企业重金招聘Python工程师标准>>> 还是这张图,我们看到,header中有很多信息,究竟哪一个是我们需要的呢其实有可能一个也不需要,有可能全部都需要,这取决于你 ...
python简单爬虫代码-最精简的爬虫 --仅需4行代码（python）
最精简的爬虫 --仅需4行代码(python) 刚刚整理了下爬虫系列,于是乎就开始了第一次的技术分享今天,我们主要讲述的是思路,思路,思路. 相比起,直接贴代码,思路显的更为重要当初,自己的坑,希 ...
python爬虫代码-python网络爬虫源代码（可直接抓取图片）
在开始制作爬虫前,我们应该做好前期准备工作,找到要爬的网站,然后查看它的源代码我们这次爬豆瓣美女网站,网址为:用到的工具:pycharm,这是它的图标 ...博文来自:zhang740000的博客 P ...

HTTP请求到爬虫代码的终南捷径

HTTP请求到爬虫代码的终南捷径相关推荐

最新文章

热门文章