python抓包代码_Python抓包并解析json爬虫的完整实例代码
Python抓包并解析json爬虫FwA免费资源网
在使用Python爬虫的时候,通过抓包url,打开url可能会遇见以下类似网址,打开后会出现类似这样的界面,无法继续进行爬虫:FwA免费资源网
FwA免费资源网
例如:FwA免费资源网
需要爬取网页中第二页的数据时,点击F12➡网络(Network)➡XHR,最好点击清除键,如下图:FwA免费资源网
FwA免费资源网
通过点击“第二页”,会出现一个POST请求(有时会是GET请求),点击POST请求的url,(这里网址以POST请求为例),FwA免费资源网
如图:FwA免费资源网
FwA免费资源网
然后复制参数代码FwA免费资源网
代码展示:FwA免费资源网
import requests
import json
url = 'https://m.ctrip.com/restapi/soa2/13444/json/getCommentCollapseList?_fxpcqlniredt=09031130211378497389'
header={
'authority': 'm.ctrip.com',
'method': 'POST',
'path': '/restapi/soa2/13444/json/getCommentCollapseList?_fxpcqlniredt=09031130211378497389',
'scheme': 'https',
'accept': '*/*',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9',
'cache-control': 'no-cache',
'content-length': '278',
'content-type': 'application/json',
'cookie': '__utma=1.1986366783.1601607319.1601607319.1601607319.1; __utmz=1.1601607319.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _RSG=blqD1d4mGX0BA_amPD3t29; _RDG=286710759c35f221c000cbec6169743cac; _RGUID=0850c049-c137-4be5-90b7-0cd67093f28b; MKT_CKID=1601607321903.rzptk.lbzh; _ga=GA1.2.1986366783.1601607319; nfes_isSupportWebP=1; appFloatCnt=8; _gcl_dc=GCL.1601638857.CKzg58XqlewCFQITvAodioIJWw; Session=SmartLinkCode=U155952&SmartLinkKeyWord=&SmartLinkQuary=&SmartLinkHost=&SmartLinkLanguage=zh; Union=OUID=index&AllianceID=4897&SID=155952&SourceID=&createtime=1602506741&Expires=1603111540922; MKT_OrderClick=ASID=4897155952&AID=4897&CSID=155952&OUID=index&CT=1602506740926&CURL=https%3A%2F%2Fwww.ctrip.com%2F%3Fsid%3D155952%26allianceid%3D4897%26ouid%3Dindex&VAL={"pc_vid":"1601607319353.3cid9z"}; MKT_Pagesource=PC; _RF1=218.58.59.72; _bfa=1.1601607319353.3cid9z.1.1602506738089.1602680023977.4.25; _bfi=p1%3D290510%26p2%3D290510%26v1%3D25%26v2%3D24; MKT_CKID_LMT=1602680029515; __zpspc=9.5.1602680029.1602680029.1%232%7Cwww.baidu.com%7C%7C%7C%25E6%2590%25BA%25E7%25A8%258B%7C%23; _gid=GA1.2.1363667416.1602680030; _jzqco=%7C%7C%7C%7C1602680029668%7C1.672451398.1601607321899.1602506755440.1602680029526.1602506755440.1602680029526.undefined.0.0.16.16',
'cookieorigin': 'https://you.ctrip.com',
'origin': 'https://you.ctrip.com',
'pragma': 'no-cache',
'referer': 'https://you.ctrip.com/',
'sec-fetch-dest': 'empty',
'sec-fetch-mode': 'cors',
'sec-fetch-site': 'same-site',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
}
dat = {
"arg": {
'channelType': 2,
'collapseType': 0,
'commentTagId': 0,
'pageIndex': 1,
'pageSize': 10,
'poiId': 75648,
'sortType': 3,
'sourceType': 1,
'starType': 0
},
"head": {
'auth': "",
'cid': "09031117213661657011",
'ctok': "",
'cver': "1.0",
'extension': [],
'lang': "01",
'sid': "8888",
'syscode': "09",
'xsid': ""
}
}
r = requests.post(url, data=json.dumps(dat), headers=header)
s = r.json()
print(s)
运行结果:FwA免费资源网
FwA免费资源网
然后右击结果,再点击Show as JSON:FwA免费资源网
FwA免费资源网
最后就会出现目标url的响应信息,就可以进行爬取了!!!FwA免费资源网
总结FwA免费资源网
python抓包代码_Python抓包并解析json爬虫的完整实例代码相关推荐
- python 抓包解析数据_Python抓包并解析json爬虫的完整实例代码
Python抓包并解析json爬虫 在使用Python爬虫的时候,通过抓包url,打开url可能会遇见以下类似网址,打开后会出现类似这样的界面,无法继续进行爬虫: 例如: 需要爬取网页中第二页的数据时 ...
- python怎么跳转到某一行代码_Python中免验证跳转到内容页的实例代码
在本篇文章里小编给大家整理的是一篇关于Python中免验证跳转到内容页的实例代码,有兴趣的朋友们可以学习分享下. 相信很多人在浏览网页时,经常会碰到需要输入验证码才可以继续浏览的情况吧,遇到这种问题, ...
- python爬取歌曲_python爬取网易云音乐热歌榜实例代码
首先找到要下载的歌曲排行榜的链接,这里用的是: https://music.163.com/discover/toplist?id=3778678 然后更改你要保存的目录,目录要先建立好文件夹,例如我 ...
- 树莓派退出python的代码_Python实现树莓派WiFi断线自动重连的实例代码
实现 WiFi 断线自动重连.原理是用 Python 监测网络是否断线,如果断线则重启网络服务. 1.Python 代码 autowifi.py,放在 /home/pi 目录下: #!/usr/bin ...
- python去重复记录_Python列表去重复项的N种方法(实例代码)
说明 Python语言中列表(List)与其他语言的数组(Array)类似,是一种有序的集合数据结构,Python List可支持各种数据类型,长度也可动态调整,与JS中的数组或Java ArrayL ...
- Python抓包并解析json爬虫
Python抓包并解析json爬虫 在使用Python爬虫的时候,通过抓包url,打开url可能会遇见以下类似网址,打开后会出现类似这样的界面,无法继续进行爬虫: 例如: 需要爬取网页中第二页的数据时 ...
- php批量删除例子,php批量删除数据完整实例代码
php批量删除数据完整实例代码2017-11-11 21:03 网站后台,一般都有相关的数据,以列表的形式来展现,也方便管理. 有些数据,我们可能需要对其批量进行操作,比如删除.更新日期等. 今天小编 ...
- python处理图片去白底-Python实现将蓝底照片转化为白底照片功能完整实例
本文实例讲述了Python实现将蓝底照片转化为白底照片功能.分享给大家供大家参考,具体如下: import cv2 import numpy as np img=cv2.imread('yay.jpg ...
- 发布房源(四)——房源列表处理-完整实例代码
房源列表处理--完整实例代码 处理图片的路径 处理相关链接的跳转 首页->去出租菜单 我的->我的出租 相关的回退链接 实例-房源列表管理 import React, { Componen ...
最新文章
- 2021年大数据常用语言Scala(三十八):scala高级用法 隐式转换和隐式参数
- 什么是JSON?我为什么要使用它?
- Python--day63--添加书籍
- 给你安利几个牛逼的公众号~
- 约瑟夫环(丢手绢问题)
- 算法提高 陶陶摘苹果2(java)
- 【XXE】XXE漏洞攻击与防御
- Mac下如何将 GBK 编码的文档转成 UTF-8 编码的?
- 服务器配置Token验证失败
- VPP协议栈学习一:snd_wnd
- 理论学习-协议栈学习-CANopen协议梳理
- 【python知识】win10下如何用python将网页转成pdf文件
- 职业生涯步步高(转)
- Mysql中的事务详解
- opengl光照效果的三棱锥+键盘上下左右控制旋转(学习笔记-仅供参考)
- python绘图后保存的图片打开为什么是空白?
- LaTeX命令速查手册 - 方法总比问题多
- 【读书笔记】20210812《海底捞你学不会》——黄铁鹰
- 爬虫实战4:爬取猫眼电影排名Top100的详细数据保存到csv文件
- Python爬取《创造营2020》小姐姐数据用腾讯云人脸识别做颜值评分
热门文章
- delphi7 mysql控件_Delphi7连接MySql数据库-DBGrid控件显示数据
- PHP能在Mac上运行吗,PHP Composer无法在Mac上运行
- matlab subs 慢,求助matlab程序计算速度过慢的原因
- java 可逆的加密算法_java实现AES可逆加密算法
- python修改服务器ip,[python+Bat]读表修改机房IP
- sqlilab--writeup (5~6) 布尔盲注
- MyBatis的逆向工程工具,自动生成数据库对应的POJO实体类、mapper接口、增删改查mapper.xml文件
- Oracle GoldenGate复制过程
- Linux Vi的使用
- Weave Scope安装