爬取携程旅游网

‘content-type’:‘application/json’,

这个请求头参数是关键

import requests
import json
import reheaders = {'USER_AGENT': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Accept-Language': 'en','referer': 'https://vacations.ctrip.com/','content-type':'application/json','origin': 'https://vacations.ctrip.com',
}data = {"contentType": "json","head": {"cid": "09031030111366754355", "ctok": "", "cver": "1.0", "lang": "01", "sid": "8888", "syscode": "09","auth": "", "extension": []}, "version": "80400","client": {"trace": "none", "device": "PC", "source": "NVacationSearchV2","variables": [{"key": "SHXVERSION", "value": "B"}], "cid": "1605494184427.2ep3s2"},"poiType": {"poid": 1, "type": "D", "keyword": "北京"},"filtered": {"sort": 8, "channel": "Online", "tab": "A126", "saleCity": 206, "startCity": 206, "pageSize": 30,"pageIndex": 2, "items": [{"key": "CHANNEL_ID", "value": "114"}]}, "returnType": {"type": "all","filters": "ProductNewLine,ProductLine,HotDestination,HotScenicSpot,SaleDepartureStat,TravelDays,DepartureDate,Month,ProductPattern,ProductLevel,ADSuitPersons,ADServiceCharacteristic,ADIsDirectFlight,ADHotelCharacteristic,ADNLineCharacteristic,ProductDistrict,ProviderBrand,PriceRange,Promotion,OnSale,ADServiceGarantee","recommendProduct": True}}response = requests.post('https://vacations.ctrip.com/list/restapi/gateway/13561/search?_fxpcqlniredt=09031030111366754355',data=json.dumps(data), headers=headers)
print(response.text)

爬取携程网（ajax动态加载）相关推荐

爬取通过ajax动态加载的页面（实时监控华尔街见闻资讯与快讯）
学习了几天如何使用scrapy去爬取静态网站,今天尝试去爬取动态加载的网站.选取的网站是华尔街见闻,文中不会像往常一样大篇幅讲解每一步该如何做,而是探讨如何爬取. 在源代码中无法获得全部数据(有的根本 ...
python 爬虫快看漫画整站爬取（解决动态加载漫画图片地址、漫画图片合成长图、图片文件排序等问题）
运行结果: 这个是爬取的目标爬取之后建立文件夹,合成长图之后删除文件夹这里仅仅做几组演示, 由于合成的图片有单列长度限制,所有拆分成两列开始: 首先打开网站,找到某个漫画,发现点鼠标右键不可以, ...
python3 爬虫日记(三) 爬取堆糖动态加载网页
1.分析:进入堆糖网后我们在分类找到插画绘画进入这个分类后发现好多图片,下拉后发现会有不断的图片刷新出来,这就是堆糖采用了动态加载网页. 2.用开发者工具(F12)分析:按一下F12,找到networ ...
Python爬取东方财富网任意股票任意时间段的Ajax动态加载股票数据
导言最近由于需求想爬取以下东方财富网的股票数据,但是发现没有想象那么简单,接下来我会讲述一下我遇到的问题以及是如何解决,最后成功的爬出了想要的数据. 查看网页源码首先我们F12打开东方财富网网页源 ...
python翻页功能url不变_爬取Ajax动态加载和翻页时url不变的网页
这两天投了一家公司的爬虫实习生,笔试题是完成一个爬虫的小需求.网站没有什么反爬的高级技巧.但是有非常常见的,并不是针对我们爬虫的,却让我们新手很难理解的ajax动态加载技术和乍一看不明白的翻页时不变的 ...
关于使用scrapy框架编写爬虫以及Ajax动态加载问题、反爬问题解决方案
关于使用scrapy框架编写爬虫以及Ajax动态加载问题.反爬问题解决方案参考文章: (1)关于使用scrapy框架编写爬虫以及Ajax动态加载问题.反爬问题解决方案 (2)https://www. ...
jquery table ajax,JQuery Ajax动态加载Table数据的实例讲解
我们在jsp定义一个select和一个table,要求实现根据select的选值,动态加载table数据. table第一次加载数据的function定义如下: function loadData() ...
ajax 动态加载的内容，相应的js也要在回调里加载
ajax 动态加载的内容,相应的js也要在回调里加载,不然之前已经写好的监听函数,其实没有绑定到后来动态加载的元素上的,所以要写成回调的形式比如: $(".getStudent") ...
html select ajax,AJAX 动态加载后台数据绑定select的方法
直接上代码是可以用的,后台代码我就不贴了,我相信后台代码大家都会,直接返回json数据,我是前端比较差的,所以喜欢把每次不会的全部记起来 html代码 //下拉框数据动态加载 js代码 $.ajax ...
ajax动态拼接复选框样式,JavaScript 通过Ajax 动态加载CheckBox复选框
废话不多说了,直接给大家贴代码了,具体代码如下所示: //动态加载年份checkbox by dongch 20170830 function GetCompareYearByStationName( ...

爬取携程网（ajax动态加载）

爬取携程旅游网

‘content-type’:‘application/json’,

爬取携程网（ajax动态加载）相关推荐

最新文章

热门文章

爬取携程网（ajax动态加载）

爬取 携程旅游网

‘content-type’:‘application/json’,

爬取携程网（ajax动态加载）相关推荐

最新文章

热门文章

爬取携程旅游网