阅读本文大约需要 7 分钟

作者:zone7

首发于微信公众号:zone7

概述

? 前言

? 思考

? 统计结果

? 爬虫技术分析

? 爬虫代码实现

? 爬虫分析实现

? 后记

? 阿广说

前言

年过二十,我渐渐的发现我喜欢上了一个人做事,与其说这是孤单,不如说独处。我认为独处不应该和孤独相混淆,孤独是一个人的狂欢,而狂欢是一群人的孤独!

昨天的每日一问题问读者朋友们元旦如何度过,看到有的朋友说出去旅游,那么如何选择旅游才能趋独处避孤单呢?下面使用Python帮大家分析一下!

弘扬一下社会主义核心价值观

思考

(此段可跳过)要抓取出行方面的数据还不简单,直接去看看携程旅游、马蜂窝这类网站看看有没有数据抓取。但是实际上这些网站并没有比较好的格式化的数据供我们抓取,或许是我没找到吧。我在想,有没有什么折中的办法。然而,就这样半天过去了,突然想到,要出行肯定会查找相关的出行攻略吧,那么关键词就是一个突破口,可以查询百度指数来看看哪些景点被查询的次数最多,那么就可以大概知道哪些景点会爆满了。

统计结果

此次的统计结果只是从侧面反映景点爆满的问题,未必是完全准确的,仅供参考。此次统计的景点共有 100 个:




桂林、三亚、泰山的搜索量都是杠杠的,这第一梯队的地方能不去就别去了,去了也是人山人海的,爆满是无疑的了。


捂脸.jpg

top0-10

第二梯队的搜索量也不差,日均搜索量还是上万的,谨慎行动。

top10-20

第三梯队下来就可以考虑考虑,为了避免不必要的塞车与等待,建议大家还是呆在家里吧!!!

top20-30

第四梯队应该没太大的问题,建议出去溜达溜达。

top30-40

都到第五梯队了,就可以放心地玩耍了。经历了那么多的烦心事,是该好好放飞一下自己了。

top40-50

爬虫技术分析

  • 请求库:selenium

  • HTML 解析:使用正则匹配

  • 数据可视化:pyecharts

  • 数据库:MongoDB

  • 数据库连接:pymongo

爬虫分析实现

此次文章能够实现参考效果,完全是因为抖机灵。首先是选取爬虫来源,携程与马蜂窝没有结构化的数据,我们就换一种思路。首先是想到百度指数,如图:

百度指数

关于数据清洗方面,这里筛选了数据量过小,和数据量异常大的景点,详情在源码中查看。


搜狗指数

爬虫代码实现

由于篇幅原因,这就只展示主要代码,详情请查看源码,点击阅读原文获取源码。

后记

整篇爬虫文章分析到这里就结束,不过还是对百度指数很有执念,想找个时间写一篇相关的文章才行,不搞定它感觉心里有块疙瘩,或许这就是程序员最后的倔强,最后祝大家元旦假期愉快,不用写代码。

阿广说

一年下来,经历了许多的事情,我们永远要保持“清零”的理念去学习。何为“清零”的理念?就是当本阶段的任务结束了之后,尽管事情做的很成功,也要放平心态,不骄不躁,不气不馁的稳步前行,初心不忘,保持着那股最初的干劲,砥砺前行。

考研,考公务员,考教师,找工作...每个人都有每个人的理想,元旦来临,我们可以将元旦当作我们的加油站,短暂休息过后继续前行!我相信我们不会因为一个人孤独而使“竞争对手”狂欢,也不会因为那么一群人的狂欢而使你孤独!


推荐阅读

今日问题

你去过哪些知名的景点?

有什么深刻的印象?

打卡格式:打卡第n天,答:...

为什么打卡?戳下面就知道了!

21/天/养/一/个/好/习/惯

元旦去哪玩?用Python告诉你哪些景点爆满!相关推荐

  1. 疫情过去女朋友想去重庆玩,python批量爬取小猪短租重庆民宿信息

    疫情过去女朋友想去重庆玩,python批量爬取小猪短租重庆民宿信息 随着时间的流逝,在中国共产党的领导,全国人民的共同努力下,疫情逐渐受到了控制,逐渐好转,复工,开学有望.最近在和女朋友的闲聊当中得知 ...

  2. 元旦快到了,想好去哪玩了吗?Python分析哪些景点性价比更高

    本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 以下文章来源于菜J学Python ,作者J哥 在找Python的实战项目学习? 爬虫.数据分析.网 ...

  3. 元旦去哪儿?python爬虫告诉你!

    元旦快要来了就意味着假期快要来了.有没有计划好元旦去哪里散心呢? 今天就用爬虫带你分析以下国内最热门城市哪些值得你去~ 首先我们的目标网站是穷游网. https://place.qyer.com/ch ...

  4. 五一到底去哪玩?哪个景点人少又好玩?手把手教你玩Python爬虫

    "用实例和实力说话" 大家好,我是大鹏. 当客户想知道哪些景点人少又好玩,老板把这个任务交给你,作为业务人员,你选择用哪种方法解题? 以上两种工作方式都没错,但如果你是数据思维者, ...

  5. 用Python分析元旦旅游热门城市,告诉你哪些景点性价比更高

    元旦到了,难得的3天小长假,玩肯定是要去玩的,但去哪儿玩是个问题.于是,J哥以旅游热门城市厦门为例,用Python获取了去哪儿网的相关景点数据,包括景点名称.地区.评分.销量.价格.坐标等字段,对数据 ...

  6. Python爬虫示例:爬取 13 个旅游城市,看看大家放假了都爱去哪玩

    距上次假结束已经好多天过去了...依然还是没有假期,想出去好多地方玩啊.你们是不是也在期待着假期呀,不过夏天也热,下次的假期大概就是中秋国庆了,那会儿还算是比较凉爽.心血来潮,就想爬一下大家假期最爱去 ...

  7. Python 网络爬虫实战:爬取《去哪儿》网数千篇旅游攻略数据,再也不愁旅游去哪儿玩了

    好久不见! 今天我们来爬取 去哪儿网站 的 旅游攻略 数据. 0x00  找一个合理的作案动机 作为一名立志成为技术宅的普通肥宅,每次一到周末就会面临一个人生难题:这周末怎么过? 本来是没有这些问题的 ...

  8. 小白学 Python 爬虫(42):春节去哪里玩(系列终篇)

    人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Li ...

  9. python爬虫可以爬什么山好_Python爬虫示例:爬取 13 个旅游城市,看看大家放假了都爱去哪玩...

    距上次假期端午结束已经47天过去了...依然还是没有假期,想出去好多地方玩啊.你们是不是也在期待着假期呀,不过夏天也热,下次的假期大概就是中秋国庆了,那会儿还算是比较凉爽.心血来潮,就想爬一下大家假期 ...

最新文章

  1. AlexeyAB DarkNet YOLOv3框架解析与应用实践(五)
  2. windows redis sentinel install
  3. go 同一个参数传入不同struct_struct的基本介绍-go篇
  4. TransparentBitmap函数设置透明位图的原理分析
  5. .NET连接MySQL数据库方法
  6. UDT协议实现分析——连接的建立
  7. android shell检查是否锁屏_android打开关闭屏幕
  8. Linux redhat ICE环境安装
  9. 牛津英语3a_空中课堂 | 牛津英语3A学霸笔记 (全) 附3B
  10. sort函数用于vector向量的排序
  11. 作业8 单元测试练习
  12. 谭浩强c语言程序设计笔记讲义,【笔记】谭浩强C语言程序设计--简明笔记
  13. 游戏中的心理学(一):认知失调有前提条件
  14. 拓嘉辰丰电商:拼多多店铺如何成功拼单
  15. php实现的简单问卷调查系统
  16. 计算机注册表命令,注册表命令,小编教你电脑怎么打开注册表编辑器
  17. MATLAB2016笔记(七):数据分析
  18. windows系统redis部署配置(IP端口服务)配置
  19. c++之open_cv 图像的载入、显示与输出
  20. 做网站要服务器和什么软件,做网站的软件有哪些,自己建网站要用到哪些软件?...

热门文章

  1. LeetCode刷题-3
  2. 程序员如何乘风破浪?从数据库历史看技术人发展 | CSDN 高校俱乐部
  3. AI落地遭“卡脖子”困境:为什么说联邦学习是解决良方?
  4. A* 算法之父、人工智能先驱Nils Nilsson逝世 | 缅怀
  5. 南大和中大“合体”拯救手残党:基于GAN的PI-REC重构网络,“老婆”画作有救了 | 技术头条...
  6. 加速电子化报销费控服务,易快报完成1500万美元B轮融资
  7. 倒计时1天,2018 AI开发者报名通道即将关闭(附参会提醒)
  8. 网易有道周枫:AI正带来革命性变化,但在线教育的核心是内容
  9. AI 一分钟 | 南京大学成立人工智能研究院;三星关联实体已收购 AI 搜索引擎创业公司Kngine的全部股份
  10. 阿里成立达摩院,引入10位顶尖科学家3年投入预计超1000亿,马云提出4条期待(附:学术咨询委员会成员名单)