python爬虫可以爬取个人信息吗_手把手教你利用Python网络爬虫获取旅游景点信息...

爬虫系列：

当我们出去旅游时，会看这个地方有哪些旅游景点，景点价格、开放时间、用户的评论等。

本文基于Python网络爬虫技术，以hao123旅游网为例，获取旅游景点信息。

1、项目目标

获取网站的景点名称、开放时间、精彩点评、价格等信息。

2、涉及的库和网站

先列出网址，如下所示：

网址：https://go.hao123.com/ticket?city=%E5%B9%BF%E5%B7%9E&theme=all&pn=1

网址city=%E5%B9%BF%E5%B7%9E指的是广州这个城市、pn指的是页数。

需要用到的库：requests、lxml、pprint

3、具体实现

导入我们需要的库

import requestsfrom lxml import etreefrom pprint import pprint

导入库之后，我们定义一个class类，然后定义一个init方法继承self再定义一个主函数main，定义一个init方法：首先准备url地址，headers，如下图所示。

定义一个请求函数，获取响应数据函数：

请求到数据后，我们需要把这个数据进行解析：

获取景点名称二级页面链接：使用xpath查找链接路径用谷歌浏览器选择开发者工具或者按F12,选择Elements按数字1、2操作找到旅游景点名称二级页面链接。

根据分析，我们可以撸下代码。

获取二级页面链接后，发送请求获取响应，解析数据。定义一个字典，保存景点名称、开放时间、精彩点评、价格。使用判断语句判断里面内容是否是空的。

最后定义一个main函数，如下图所示。

4、效果展示

点击绿色按钮运行，将结果显示在控制台，如下图所示。输入你要爬取的页数。

5、小结

不建议抓取太多数据，容易对服务器造成负载，浅尝辄止即可。

希望通过这个项目，能够帮助大家更好的了解旅游景点。

本文基于Python网络爬虫，利用爬虫库，实现旅游网站部分信息的抓取。

欢迎大家积极尝试，有时候看到别人实现起来很简单，但是到自己动手实现的时候，总会有各种各样的问题，切勿眼高手低，勤动手，才可以理解的更加深刻。

如果本文源码的小伙伴，网页打开链接即可获取：https://alltodata.cowtransfer.com/s/818a52c75e854f

本文转自公众号【Python爬虫与数据挖掘】

由朱小五重新排版整理

python爬虫可以爬取个人信息吗_手把手教你利用Python网络爬虫获取旅游景点信息...相关推荐

python爬取音乐源码_手把手教你使用Python抓取QQ音乐数据（第一弹）
[一.项目目标] 获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 由浅入深,层层递进,非常适合刚入门的同学练手. [二.需要的库] 主要涉及的库有:requests.json ...
爬取动漫美女，手把手教你用Python网络爬虫获取动漫图片
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云作者:砸漏 ( 想要学习Python?Python学习交流群 ...
python爬取小视频-40行代码教你利用Python网络爬虫批量抓取小视频
/1 前言/ 还在为在线看小视频缓存慢发愁吗?还在为想重新回味优秀作品但找不到资源而忧虑吗?莫要慌,让python来帮你解决,40行代码教你爬遍小视频网站,先批量下载后仔细观看,岂不美哉! /2 整理 ...
python链家网爬虫_手把手教你利用Python网络爬虫获取链家网的房产信息
点击上方" Python爬虫与数据挖掘 ",进行关注回复"书籍"即可获赠Python从入门到进阶共10本电子书今日鸡汤夜阑卧听风吹雨,铁马冰河入梦来 ...
python怎么爬虎牙_手把手教你利用Python爬取虎牙平台数据
首先打开我们所需要爬取的网站,这里我们挑选的是虎牙直播. 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多已经做案例的人,却不知道 ...
python玩王者荣耀皮肤碎片怎么获得_手把手教你使用python获取王者荣耀英雄及皮肤高清图片...
# -*- coding: utf-8 -*- """ __title__ = '爬取王者荣耀英雄及皮肤高清图片' __author__ = '张佑' __mtime__ ...
python爬虫能爬取微信密码吗_爬虫如何爬取微信公众号文章
下篇文章:python爬虫如何爬取微信公众号文章(二) 下下篇连接python爬虫如何实现每天爬取微信公众号的推送文章因为最近在法院实习,需要一些公众号的数据,然后做成网页展示出来便于查看,之前我倒 ...
python爬虫爬取房源_手把手教你用Python网络爬虫爬取新房数据
项目背景大家好,我是J哥. 新房数据,对于房地产置业者来说是买房的重要参考依据,对于房地产开发商来说,也是分析竞争对手项目的绝佳途径,对于房地产代理来说,是踩盘前的重要准备. 今天J哥以「惠民之家」 ...
手把手教你利用 python 爬虫分析基金、股票
手把手教你利用 python 爬虫分析基金.股票文章目录手把手教你利用 python 爬虫分析基金.股票第一步:基金数据爬取第二步:股票增持计算第三步:好股基金选取桌面程序 exe 从前大 ...

python爬虫可以爬取个人信息吗_手把手教你利用Python网络爬虫获取旅游景点信息...

python爬虫可以爬取个人信息吗_手把手教你利用Python网络爬虫获取旅游景点信息...相关推荐

最新文章

热门文章