python爬携程景区评论_python爬取携程景点评论信息
python爬取携程景点评论信息
今天要分析的网站是携程网,获取景点的用户评论,评论信息通过json返回API,页面是这个样子的
按下F12之后,F5刷新一下
具体需要URL
Request的方式为POST,还需要你提取的哪一页,下面图片显示了页面id,景点id(viewid),pagenum页面数,pagesize页面的项数等等。
最基本的GET请求可以直接用post方法
response = requests.post(“http://www.baidu.com/”, data = data)
对于 POST 请求来说,我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。
综上所述post的第一个参数URL=‘https://sec-m.ctrip.com/restapi/soa2/12530/json/viewCommentList’
data={
“pageid”: “10650000804”,
“viewid”: 107540,
“tagid”: “0”,
“pagenum”: “1”,
“pagesize”: “50”,
“contentType”: “json”,
“SortType”:“1”,
“head”: {
“appid”: “100013776”,
“cid”: “09031037211035410190”,
“ctok”: “”,
“cver”: “1.0”,
“lang”: “01”,
“sid”: “8888”,
“syscode”: “09”,
“auth”: “”,
“extension”: [
{
“name”: “protocal”,
“value”: “https”
}
]
},
“ver”: “7.10.3.0319180000”
}
因此
html=requests.post(URL,data=json.dumps(data)).text
html=json.loads(html)
部分结果如下
处理json文件后可以得到如下结果
详细代码在我的GitHub中 https://github.com/eshinesimida/ctrip/blob/master/ctrip_comment.py
详细视频在我的哔哩哔哩上 python携程用户评论信息爬取_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
python爬携程景区评论_python爬取携程景点评论信息相关推荐
- python爬取评论_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
- python爬虫淘宝评论_Python爬取淘宝店铺和评论
1 安装开发需要的一些库 (1) 安装mysql 的驱动:在Windows上按win+r输入cmd打开命令行,输入命令pip install pymysql,回车即可. (2) 安装自动化测试的驱动s ...
- python爬取虎扑评论_Python爬取NBA虎扑球员数据
虎扑是一个认真而有趣的社区,每天有众多JRs在虎扑分享自己对篮球.足球.游戏电竞.运动装备.影视.汽车.数码.情感等一切人和事的见解,热闹.真实.有温度. 受害者地址 https://nba.hupu ...
- python听歌识曲爬虫_Python爬取网易云音乐热门评论的搜索结果-阿里云开发者社区...
网易云音乐评论爬虫(三):爬取歌曲的全部评论 用过网易云音乐听歌的朋友都知道,网易云音乐每首歌曲后面都有很多评论,热门歌曲的评论更是接近百万或者是超过百万条.现在我就来分享一下如何爬取网易云音乐歌曲的 ...
- python爬取豆瓣电影评论_python 爬取豆瓣电影评论,并进行词云展示及出现的问题解决办法...
def getHtml(url): """获取url页面""" headers = {'User-Agent':'Mozilla/5.0 ( ...
- python抓取微博评论_Python爬取新浪微博评论数据,你有空了解一下?
开发工具 Python版本:3.6.4 相关模块: argparse模块: requests模块: jieba模块: wordcloud模块: 以及一些Python自带的模块. 环境搭建 安装Pyth ...
- 用python爬取网易云评论_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
- python 数据分析 书籍推荐 知乎_Python 爬取知乎 9674 个问答,揭秘最受欢迎的 98 本书!...
原标题:Python 爬取知乎 9674 个问答,揭秘最受欢迎的 98 本书! 作者 | Yura 责编 | 胡巍巍 高尔基这话有没有道理我不知道, 咱也不敢问, 主要是现在也问不了. 那对我来说,读 ...
- python百度贴吧 发帖时间_python爬取贴吧帖子
一.介绍 我们常遇到一些很长的贴吧连载帖子想存到本地再看 此文就是运用python爬取指定百度贴吧的帖子并存到本地满足需求 环境:python2.7 目标网页:[长篇连载]剑网3的正史和野史--从头开 ...
最新文章
- android设置为存储设备,我可以从格式化为内部存储器的Android SD卡或USB驱动器中恢复数据吗? | MOS86...
- CSS3中box-shadow的用法介绍
- java 程序编译和运行的过程
- ValueError: operands could not be broadcast together with shapes解决
- 驳AXAJ的七宗罪 (转)
- python socket传输图片_python使用socket传输图片视频等文件的实现方式
- centos6.5 rpm安装mysql_CentOS6.5系统下RPM包安装MySQL5.6(转)
- Hibernate(二)——一对多查询
- C#LeetCode刷题之#434-字符串中的单词数​​​​​​​(Number of Segments in a String)
- 95-240-050-原理-State-RocksDBStateBackend
- 蔬菜大棚原理_天津大棚报价大棚的造价、温室大棚
- 大数据如何进行创新与变革
- 英语常用单词分类---1
- 【计算广告】基本概念及RTB/RTA投放策略介绍
- Vue routers
- win10的计算机是哪个版本,Windows 10系统都有哪些版本?老旧电脑装哪个版本的win10好?...
- 【无浪】自己用C++实现的零游戏的战斗(半成品)
- 【小知识】字符编码笔记:ASCII,Unicode 和 UTF-8
- 如何打开USB网络共享?
- windows 2008/2012(64位) IIS配置asp程序 500 - 内部服务器错误。您查找的资源存在问题,因而无法显示。
热门文章
- CGAL学习记录——降采样
- 发布苹果App有哪些步骤流程
- ModBus(RTU TCP UDP通信)及利用socket通信(DTU)实现Modbus-RTU通信协议
- c语言课程设计(图书馆管理系统)
- 5G无线网络关键技术
- Android 给WebView设置UA
- Twilio Inc.(TWLO)2020年第三季度收益电话会议记录
- Java Web之Cookie、Session
- 网站去除plugin.php小尾巴,dedecms去除首页index.html小尾巴,这种方法是错误的!
- 表格自适应 css,css 表格自适应一些方法总结