Python抓包并解析json爬虫
Python抓包并解析json爬虫
在使用Python爬虫的时候,通过抓包url,打开url可能会遇见以下类似网址,打开后会出现类似这样的界面,无法继续进行爬虫:
例如:
需要爬取网页中第二页的数据时,点击F12➡网络(Network)➡XHR,最好点击清除键,如下图:
通过点击“第二页”,会出现一个POST请求(有时会是GET请求),点击POST请求的url,(这里网址以POST请求为例),如图:
然后复制参数代码
代码展示:
import requests
import jsonurl = 'https://m.ctrip.com/restapi/soa2/13444/json/getCommentCollapseList?_fxpcqlniredt=09031130211378497389'header={'authority': 'm.ctrip.com',
'method': 'POST',
'path': '/restapi/soa2/13444/json/getCommentCollapseList?_fxpcqlniredt=09031130211378497389',
'scheme': 'https',
'accept': '*/*',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9',
'cache-control': 'no-cache',
'content-length': '278',
'content-type': 'application/json',
'cookie': '__utma=1.1986366783.1601607319.1601607319.1601607319.1; __utmz=1.1601607319.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _RSG=blqD1d4mGX0BA_amPD3t29; _RDG=286710759c35f221c000cbec6169743cac; _RGUID=0850c049-c137-4be5-90b7-0cd67093f28b; MKT_CKID=1601607321903.rzptk.lbzh; _ga=GA1.2.1986366783.1601607319; nfes_isSupportWebP=1; appFloatCnt=8; _gcl_dc=GCL.1601638857.CKzg58XqlewCFQITvAodioIJWw; Session=SmartLinkCode=U155952&SmartLinkKeyWord=&SmartLinkQuary=&SmartLinkHost=&SmartLinkLanguage=zh; Union=OUID=index&AllianceID=4897&SID=155952&SourceID=&createtime=1602506741&Expires=1603111540922; MKT_OrderClick=ASID=4897155952&AID=4897&CSID=155952&OUID=index&CT=1602506740926&CURL=https%3A%2F%2Fwww.ctrip.com%2F%3Fsid%3D155952%26allianceid%3D4897%26ouid%3Dindex&VAL={"pc_vid":"1601607319353.3cid9z"}; MKT_Pagesource=PC; _RF1=218.58.59.72; _bfa=1.1601607319353.3cid9z.1.1602506738089.1602680023977.4.25; _bfi=p1%3D290510%26p2%3D290510%26v1%3D25%26v2%3D24; MKT_CKID_LMT=1602680029515; __zpspc=9.5.1602680029.1602680029.1%232%7Cwww.baidu.com%7C%7C%7C%25E6%2590%25BA%25E7%25A8%258B%7C%23; _gid=GA1.2.1363667416.1602680030; _jzqco=%7C%7C%7C%7C1602680029668%7C1.672451398.1601607321899.1602506755440.1602680029526.1602506755440.1602680029526.undefined.0.0.16.16',
'cookieorigin': 'https://you.ctrip.com',
'origin': 'https://you.ctrip.com',
'pragma': 'no-cache',
'referer': 'https://you.ctrip.com/',
'sec-fetch-dest': 'empty',
'sec-fetch-mode': 'cors',
'sec-fetch-site': 'same-site',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
}dat = {"arg": {'channelType': 2,'collapseType': 0,'commentTagId': 0,'pageIndex': 1,'pageSize': 10,'poiId': 75648,'sortType': 3,'sourceType': 1,'starType': 0},"head": {'auth': "",'cid': "09031117213661657011",'ctok': "",'cver': "1.0",'extension': [],'lang': "01",'sid': "8888",'syscode': "09",'xsid': ""}
}r = requests.post(url, data=json.dumps(dat), headers=header)
s = r.json()
print(s)
运行结果:
然后右击结果,再点击Show as JSON:
最后就会出现目标url的响应信息,就可以进行爬取了!!!
Python抓包并解析json爬虫相关推荐
- python抓包代码_Python抓包并解析json爬虫的完整实例代码
Python抓包并解析json爬虫FwA免费资源网 在使用Python爬虫的时候,通过抓包url,打开url可能会遇见以下类似网址,打开后会出现类似这样的界面,无法继续进行爬虫:FwA免费资源网 Fw ...
- python 抓包解析数据_Python抓包并解析json爬虫的完整实例代码
Python抓包并解析json爬虫 在使用Python爬虫的时候,通过抓包url,打开url可能会遇见以下类似网址,打开后会出现类似这样的界面,无法继续进行爬虫: 例如: 需要爬取网页中第二页的数据时 ...
- python 抓包 scapy udp,python+scapy 抓包與解析
最近一直在使用做流量分析,今天把 scapy 部分做一個總結. python 的 scapy 庫可以方便的抓包與解析包,無奈資料很少,官方例子有限,大神博客很少提及, 經過一番嘗試后,總結以下幾點用法 ...
- Python抓包练习-Linux
需要获取网络中的报文,可以保存为pcap而后读取分析,但是总觉得来回读写数据过于麻烦,不如直接获取报文分析.面向Google编程后,并结合实际的使用,总结如下: 使用python抓包,需要利用scap ...
- python拦截数据包_httphttps,python抓包知多少
原标题:http&https,python抓包知多少 在有些情景下,需要拦截所有的http包和https数据包,http包很好抓,但是https包相对比较复杂,在此文章中,主要介绍http和h ...
- 开发过程中快速抓包并解析
开发过程中快速抓包并解析 这几天小编在工作中遇到了一个灵异事件,客户端使用的是安卓原生系统,服务端使用的是java.需求就是客户端在照相的时候可以实时上传照片.后台接收并保存,并且可以在平台上显示.看 ...
- 使用python抓包并分析后存入数据库,或直接分析tcpdump和wireshark抓到的包,并存入数据库
准备工作 抓包首先要用到scapy包 安装scapy包 pip install scapy 在python代码中引用scapy包 from scapy.all import * #为了省事,直接imp ...
- 【Python】Python抓包
Python抓包并分析获取请求头 依赖的包 抓包代码 分析代码 scapy中rdpcap分析 dpkt分析 全部代码 使用Python进行数据爬取时,很多情况下需要登录或需要某些Cookie,如果直接 ...
- python抓包教程_Python爬虫入门技能:教你通过 Fiddler 进行手机抓包!
哟哟哟~ hi起来 everybody image 今天要说说怎么在我们的手机抓包 学习Python中有不明白推荐加入交流群 号:864573496群里有志同道合的小伙伴 ,互帮互助,群里有不错的视频 ...
最新文章
- vc++ 将可执行文件链接到 DLL
- 郑杰 | 如何拿回我们自己的医疗数据?
- find python列表_Python基础知识(7)list列表各种操作
- java基础—System类的方法演示
- mysql数据库无法显示中文_mysql数据库不能显示中文是怎么回事呢?
- FreeSWITCH核心命令
- WinRAR使用基础技巧
- React中用aliplayer-react封装播放组件
- iOS-AVCaptureStillImageOutput快门声问题
- Chrome 插件下载网站+6个实用插件推荐
- 【杂记】数据存储架构
- Oracle数据库:sql语言结构,数据查询语言DQL,select * from table;算术,别名,连接,去重等操作
- Leetcode——唯唯诺诺对并查集的初次相见
- 第五章 树16 AcWing 1628. 判断红黑树
- Avro RPC 之 Protocol 定义和代码生成
- 高观点下的数学:自然数
- 休闲互动游戏有哪些?互动游戏对战平台是什么?
- Android修改user版本默认关闭开发者选项模式,eng版本默认打开开发者选项模式
- CloudXNS探索之旅
- 活码裂变工具对比(2019年最新版)