python爬取携程景区用户评论

前两天想要爬取携程网上景区的用户评论，但是却发现用户评论在翻页时，网页的url却不变，这就造成我们无法用简单的request.get()访问其他页面获取内容了。经过查阅资料发现这是一个通过Ajax页面加载的页面。具体Ajax页面加载的页面是什么这里不加以解释，本文只关于如何爬取这样的网站。本文以黄鹤楼景区为例。携程网黄鹤楼景区链接

Ajax页面加载的页面和普通页面的不同

下面是用户评论第一页和第二页的截图。

可以看出，不管是哪页，网址都是https://piao.ctrip.com/ticket/dest/t8979.html，这就是Ajax页面加载的页面和普通页面的不同，造成我们不能再用简单的方法爬取。

解决办法

打开网页的审查元素
首先我们要打开网页的审查元素，然后切换到network查看一下传输的内容，首先点击一下左上角的红色按钮然后刷新一下界面，避免干扰，然后观察下图圈中的区域：

发现了这些参数以后，我们在爬虫模拟HTTP请求时，只需要加上这些参数就可以了。

代码编写
该代码除爬取了500条用户的评论外，还爬取了用户名、评论时间和评分，并写入了csv文件。

import re
import requests
import json
import time
import csvc=open(r'D:\xiecheng.csv','a+',newline='',encoding='utf-8')
fieldnames=['user','time','score','content']
writer=csv.DictWriter(c,fieldnames=fieldnames)
writer.writeheader()head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0'}postUrl = "https://sec-m.ctrip.com/restapi/soa2/12530/json/viewCommentList"data_1 = {"pageid": "10650000804","viewid": "8979","tagid": "0","pagenum": "1","pagesize": "50","contentType": "json","SortType": "1","head": {"appid": "100013776","cid": "09031037211035410190","ctok": "","cver": "1.0","lang": "01","sid": "8888","syscode": "09","auth": "","extension": [{"name": "protocal","value": "https"}]},"ver": "7.10.3.0319180000"
}html = requests.post(postUrl, data=json.dumps(data_1)).text
html = json.loads(html)
jingqu =  '黄鹤楼'
pages = html['data']['totalpage']
datas = []
for j in range(pages):data1 = {"pageid": "10650000804","viewid": "8979","tagid": "0","pagenum": str(j + 1),"pagesize": "50","contentType": "json","SortType": "1","head": {"appid": "100013776","cid": "09031037211035410190","ctok": "","cver": "1.0","lang": "01","sid": "8888","syscode": "09","auth": "","extension": [{"name": "protocal","value": "https"}]},"ver": "7.10.3.0319180000"}datas.append(data1)for k in datas[:10]:print('正在抓取第' + k['pagenum'] + "页")time.sleep(3)html1 = requests.post(postUrl, data=json.dumps(k)).texthtml1 = json.loads(html1)comments = html1['data']['comments']for i in comments:user = i['uid']time1 = i['date']score = i['score']content = i['content']content = re.sub(" ", "", content)content = re.sub("
", "", content)writer.writerow({'user': user,'time':time1,'score': score,'content':content})
c.close()

效果

最终效果：

python爬取携程景区用户评论相关推荐

python 爬取携程旅游景点评论
python爬取携程旅游景点评论爬取网址:https://you.ctrip.com/ 爬取评论全部代码 import requests import json import re import t ...
python 携程登陆,Python爬取携程信息
python爬取携程景点评论信息今天要分析的网站是携程网,获取景点的用户评论,评论信息通过json返回API,页面是这个样子的按下F12之后,F5刷新一下具体需要URL Request的方式为P ...
python爬取携程机票并发送过滤后的机票信息到指定邮箱
0x0 前言在疫情发生之前,在知乎上刷到一个回答,说是用服务器实现一个自动爬取机票并将过滤后的机票信息发送到自己的邮箱中,感觉十分有趣.由于疫情原因无法返校,加上家和学校相隔接近3000公里,再加上 ...
python中飞机票购买程序_「最低折扣机票查询」Python 爬取携程所有机票找出最低折扣机票，让你无忧回家过年 - seo实验室...
最低折扣机票查询前言对于平时出行大多数人都是选择坐高铁,当然了如果这是对于距离比较近的行程是最划算的,如果对于路途长远的人言,提前购买飞机票价格可能比高铁票更加的便宜,如果我们可以爬取机票数据并分 ...
python爬取携程旅游评价信息词云图分析
python爬取携程旅游评价信息词云图分析前言前面咱们已经分析过如何爬取携程旅游的相关信息,如果没有看过的,可以先跳转看一下前面的那篇博客:python 爬虫一键爬取携程旅游团数据这一篇呢,咱 ...
Python爬取携程机票代码实例
Python爬取携程机票代码实例现在携程的页面是通过接口传递数据的,不能直接使用xpath进行解析,需要模拟调用接口的步骤 dcity是指出发地的城市编码 acity是指目的地的城市编码其他参数是 ...
python爬取携程酒店信息_不写代码玩转爬虫实例（3） - 抓取携程酒店信息
背景需求有不少朋友问永恒君携程网站的酒店信息怎么抓取,今天这篇文章来分享一下使用web scraper来快速实现抓取携程酒店信息. 例如,在携程官网搜索北京密云水库的酒店信息, 可以搜索到非常多的 ...
python 携程_python爬取携程和蚂蜂窝的景点评论数据\python爬取携程评论数据\python旅游网站评论数...
本人长期出售超大量微博数据.旅游网站评论数据,并提供各种指定数据爬取服务,Message to YuboonaZhang@Yahoo.com.同时欢迎加入社交媒体数据交流群:99918768 前言为 ...
python爬取携程景点_python爬取携程景点评论信息
今天要分析的网站是携程网,获取景点的用户评论,评论信息通过json返回API,页面是这个样子的按下F12之后,F5刷新一下具体需要URL Request的方式为POST,还需要你提取的哪一页,下面 ...

python爬取携程景区用户评论

python爬取携程景区用户评论（爬虫时遇到翻页但url不变问题时的解决办法）

python爬取携程景区用户评论

Ajax页面加载的页面和普通页面的不同

解决办法

效果

python爬取携程景区用户评论相关推荐

最新文章

热门文章