用python爬网站评论_python爬取携程景点评论信息

今天要分析的网站是携程网，获取景点的用户评论，评论信息通过json返回API，页面是这个样子的

按下F12之后，F5刷新一下

具体需要URL

Request的方式为POST，还需要你提取的哪一页，下面图片显示了页面id，景点id(viewid),pagenum页面数，pagesize页面的项数等等。

最基本的GET请求可以直接用post方法

response = requests.post("http://www.baidu.com/", data = data)

对于 POST 请求来说，我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。

data={

"pageid": "10650000804",

"viewid": 107540,

"tagid": "0",

"pagenum": "1",

"pagesize": "50",

"contentType": "json",

"SortType":"1",

"head": {

"appid": "100013776",

"cid": "09031037211035410190",

"ctok": "",

"cver": "1.0",

"lang": "01",

"sid": "8888",

"syscode": "09",

"auth": "",

"extension": [

{

"name": "protocal",

"value": "https"

}

]

"ver": "7.10.3.0319180000"

}

因此

html=requests.post(URL,data=json.dumps(data)).text

html=json.loads(html)

部分结果如下

处理json文件后可以得到如下结果

用python爬网站评论_python爬取携程景点评论信息相关推荐

python爬携程景区评论_python爬取携程景点评论信息
python爬取携程景点评论信息今天要分析的网站是携程网,获取景点的用户评论,评论信息通过json返回API,页面是这个样子的按下F12之后,F5刷新一下具体需要URL Request的方式为P ...
爬取携程景点评论数据【最新方法】，分析AJAX实现页数跳转的爬取方法
本文仅供技术学习使用,欢迎转载,转载请注明出处因为朋友参加数学建模,需要景点数据,而我刚好懂一点点,就帮他写爬虫代码.在网上搜索到一些爬虫方法,但在获取景点ID时,发现现在携程的Request Pa ...
python爬取携程景点_python爬取携程景点评论信息
今天要分析的网站是携程网,获取景点的用户评论,评论信息通过json返回API,页面是这个样子的按下F12之后,F5刷新一下具体需要URL Request的方式为POST,还需要你提取的哪一页,下面 ...
python携程酒店评论_python爬取携程景点评论信息
今天要分析的网站是携程网,获取景点的用户评论,评论信息通过json返回API,页面是这个样子的按下F12之后,F5刷新一下具体需要URL Request的方式为POST,还需要你提取的哪一页,下面 ...
python爬携程上出境游数据_python爬取携程旅游评价信息词云图分析
python爬取携程旅游评价信息词云图分析前言前面咱们已经分析过如何爬取携程旅游的相关信息,如果没有看过的,可以先跳转看一下前面的那篇博客:python 爬虫一键爬取携程旅游团数据这一篇呢,咱 ...
python爬取携程旅游评价信息词云图分析
python爬取携程旅游评价信息词云图分析前言前面咱们已经分析过如何爬取携程旅游的相关信息,如果没有看过的,可以先跳转看一下前面的那篇博客:python 爬虫一键爬取携程旅游团数据这一篇呢,咱 ...
爬取携程中评论的数据
爬取携程中评论的数据 1.爬取评论的发布者 2.爬取评论发布的时间 3.爬取评论的内容在爬取这个携程数据时,将使用selenium自动化的去获取网页数据将网页数据下载下来,使用的是chrom驱动程序 ...
爬取携程景点可能遇到的问题
打开文件要加上encoding否则可能GBK编码错误携程的某些数据无法爬取,获得的HTML里不是真实数据获取li列表个数有变化的时候最好用selector,获得整个列表,然后再分离 strip() ...
pyhton爬虫（12）——抓取携程酒店评论数据
本文主要目标是抓取携程酒店基本信息和用户评论数据.具体来说,酒店基本信息包括:酒店名.酒店星级.酒店最低房价.用户推荐比.酒店总评分等:用户评论数据包括:用户评论时间,用户评分,评论内容等. 实现代码 ...

用python爬网站评论_python爬取携程景点评论信息

用python爬网站评论_python爬取携程景点评论信息相关推荐

最新文章

热门文章