python携程酒店评论_携程酒店评论爬虫心得
携程酒店评论爬虫心得
发布时间:2018-09-02 15:58,
浏览次数:613
携程酒店评论爬虫心得
这次爬取数据,遇到了不少的困难,也走了很多弯路,特此写下帮助记忆。以下基本是我爬取数据的过程,前半段是弯路,可直接绕过,后半段是解决方法。
打开携程,南京YMCA酒店页面,可以发现如下布局:
其中,酒店点评是我要找的内容。
一般来说,抓取内容采用 requests+xpath。如下:
import requests from lxml import etree url =
'http://hotels.ctrip.com/hotel/1678723.html?isFull=F#ctm_ref=hod_sr_lst_dl_n_1_1'
s = requests.get(url).text #获取网页内容 body = etree.HTML(s) #解析网页,用于网页各内容的定位
#以用户名来做实验 user_name = body.xpath(
'//*[@id="divCtripComment"]/div[4]/div[12]/div[1]/p[2]/span/text())
print(user_name)
结果显示正常,但是可以由图1看到,酒店点评是进行翻页的,存在下一页按钮,以及页码搜索框等。
因此,如果要获取不同页面的内容,需要有每一页的索引。
但是此处,点击下一页,网页的url不改变。
初步确定为”动态加载。
寻找url的过程比较长久。分别包含以下:
1. 关闭JavaScript,可以发现每一页有一个独立的url。
但是,将其按照上述方法执行,结果仍然不是所要的。
2.获取关于点评的网页url
这个url是我的在无意中从别人的博客中获取的【现在找不到了】,打开后,页面上只存在酒店点评。一开始,我觉得页面很干净,而且鼠标向下滑动的时候,会显示”加载中“,每次增加十个评论。我试用了好多方法去解决”加载“问题,但是只显示最新的十个结果。
* 构建网页的url url =
'http://hotels.ctrip.com/Domestic/tool/AjaxHotelCommentList.aspx?' params =
headers = data = requests.get(url,headers = headers, params = params)
#headers可以看到 GET方式
此种方式,最终得到的内容仍然为空。
4.根据preview
一博客上介绍可以看一下preview,观察源代码结构后,结果仍然为空。并提示我“非法参数”。
5~.还有若干方法,若干博客,以及若干公众号,我已经不愿提起。。。。
最终询问了大佬,大佬提及chromedriver,终于看到了曙光。本人电脑实在渣,加上网速慢,半小时才把【selenium,chromedriver】准备妥当。而且由于电脑一直提示不安全,某些链接无法选择,过程特别慢。严重怀疑我之前的方法是不是不在于算法,而在于电脑问题。
下边直接放代码:
#计算运行时间 import datetime starttime = datetime.datetime.now() #引入相关库 from
seleniumimport webdriver from bs4 import BeautifulSoup import time #导入Keys
模块[键盘] from selenium.webdriver.common.keys import Keys import csv #主体部分 url =
'http://hotels.ctrip.com/hotel/5311088.html?isFull=F#ctm_ref=hod_sr_lst_dl_n_1_2'
browser = webdriver.Chrome('E:/chromedriver.exe') browser.get(url) #打开网页 page =
1 with open('file.csv','w',encoding = 'utf-8') as f: while page < 5: html =
browser.page_source body = BeautifulSoup(html,"html.parser") user_list =
body.find('div',{"class":"comment_detail_list"}) #print(user_list) name_counter
=0 for user_info in user_list: n = page *(name_counter+1) print('第{}页第{}个用户'
.format(page,name_counter+1)) #获取用户名 user_name = user_info.find('p',{"class":
"name"}).find('span') if user_name is None: user_name = None else: user_name =
user_name#print(user_name.get_text()) #保存结果 f.write("{}\n".format(user_name))
name_counter +=1 print(name_counter) print('____________________-') page +=1
obj = page time.sleep(8) #执行翻页操作,搜索框输入页码 input = browser.find_element_by_xpath(
"//input[@id='cPageNum']") input.clear() input.send_keys(obj)
input.send_keys(Keys.ENTER)
#以上各项指标比较粗糙,因为担心html的
#获取结束时间 #long running endtime = datetime.datetime.now() print (endtime -
starttime).seconds
相关资源:
* python使用chrome driver做简单爬虫
* python selenium执行翻页
python携程酒店评论_携程酒店评论爬虫心得相关推荐
- 【并发编程二十】协程(coroutine)_协程库
[并发编程二十]协程(coroutine) 一.线程的缺点 二.协程 三.优点 四.个人理解 五.协程库 1.window系统 2.unix系统(包括linux的各个版本) 2.1.makeconte ...
- 如何添加评论_亚马逊评论数据分析
一.分析背景和目的 近些年国内电商平台竞争的加剧,跨境电商成为了一种趋势,亚马逊就是其龙头企业,为了进一步了解用户需求,从商品的评论来了解产品的好坏,是否满足用户的需求.从而扩大产品的销售额. 二.提 ...
- python中什么是数据驱动_携程大牛谈自动化测试里的数据驱动和关键字驱动思路的理解...
对于初次接触自动化测试时,对数据驱动和关键字驱动不甚理解,觉得有点故弄玄虚,不就是参数和函数嘛!其中也体现了测试所不同与开发的一些特点(主要指系统测试),以及和对技术发展的脉络的展现. 一.录制/回放 ...
- python selenium span内容读取_【程仁智推荐】Selenium自动化测试入门
LupuX 2017-06-18 14:24:28 11853 收藏 41 分类专栏: Auto Test 文章标签: 自动化测试 selenium web测试 UI自动化 版权 一.什么是Sel ...
- python可视化分析网易云音乐评论_网易云音乐评论催泪刷屏?我用Python抓取了1008328条热评告诉你为什么!...
文/程天 版面/胡曼君 镝摘 如果再过20年,你还会记得那些年上过的网易云热评吗? 看了那么多的网易云热评,技术思维作祟,我终于也忍不住写个爬虫,用Python通过对1008328条网易云音乐热评的抓 ...
- 弱电工程集成商_弱电工程楼宇自控系统基础知识培训资料
前言: 弱电行业里面楼宇自控系统是非常难的一个子系统,涉及到很多其他专业,楼宇自控系统的设计一般为厂家设计,但是也有系统集成商来设计的,楼宇自控系统主要学习它的控制原理,学习完以后学习DDC箱子的绘制 ...
- 文正机械电子工程专业课_机械电子工程专业解读_机械电子工程专业介绍_机械电子工程专业开设课程-高考圈...
开设课程:电工与电子技术.机械制图.工程力学.机械设计基础.机械制造基础.液压与气动技术.机械制造技术基础.电气控制与PLC.单片机原理与接口技术.数控原理与维修.机电一体化系统设计.先进制造技术导论 ...
- python爬取京东书籍_一个scrapy框架的爬虫(爬取京东图书)
我们的这个爬虫设计来爬取京东图书(jd.com). scrapy框架相信大家比较了解了.里面有很多复杂的机制,超出本文的范围. 1.爬虫spider tips: 1.xpath的语法比较坑,但是你可以 ...
- python爬取路况信息_北京市交通管理局实时路况爬虫 | 学步园
最近无人车项目需要用到交通管理局的实时路况信息,导师要求将实时路况信息爬下来. 我的想法是,因为路况信息是实时更新的,有最新的路况他们会更新,因此需要让程序隔一段时间运行一次,检查这次爬下的内容与上一 ...
最新文章
- Nginx热部署详解
- Freescale 基于IMX536处理器的Dialog DA9053电源管理参考设计
- Centos 更改系统时间
- 你确定你真的喜欢编程吗??
- 使用poi调整字体格式、添加单元格注释、自动调整列宽
- 如何使用ITEXTSHARP将HTML代码字符串写进PDF
- 【杨中科解惑】我该怎么选择?选择就是放弃
- AltiumDesigner多通道复用设计教程(亲测可行版本)
- 一本应届毕业生求职经历+心得小结
- Python小知识:推导式用法大全,Comprehension
- linux dpkg: 错误: 无法打开软件包的 info 文件 /var/lib/dpkg/available 以便读取: 没有那个文件或目录
- w ndows系统开机时黑屏,Win10系统更新后,开机黑屏怎么办?
- FastConverter .FP3转换为几乎任何流行的格式
- Excel求解最优化问题(有具体步骤)
- java计算机毕业设计库存管理系统源码+系统+数据库+lw文档+mybatis+运行部署
- 浙大计算机考研复试2019,浙江大学计算机学院2019考研复试时间地点通知
- Shell 写入csv处理中文乱码
- 生鲜蔬菜配送管理软件,社区团购软件-生鲜独立管理系统开发功能
- win10易升升级失败,提示正在还原以前版本的windows,反复重启不能进入系统
- java硬件对接经验总结
热门文章
- Docker框架的使用系列教程(三)
- 用计算机语言画曲线,用C语言控制台画简单的曲线
- 3.odoo13之跟着官网做项目/实例(模型关联,模型类模型表的关联)
- VTK:vtkCellCenters用法实战
- OpenCASCADE:绘制测试线束之基本命令
- OpenCASCADE:拓扑 API之简介
- boost::test模块带有自定义初始化测试的静态库使用变体
- boost::python::type_info相关的测试程序
- boost::mp11::mp_reverse_fold相关用法的测试程序
- boost::log模块测试get_attributes()这个const方法可以获取线程模型内部的互斥锁