前言:

上期与大家分享了一些旅游的内容,本期则分享一些为吃货们量身定制的文章,大家的好丽友——小龙虾。

PART1:获得数据

本次数据我们爬取了大众点评中所有打上小龙虾标签的餐厅

从上图中可以看出,我们可以获得餐厅的人均消费、点评数量、推荐菜、评分(口味、环境、服务)等信息,用于我们之后的分析。我们此次总共爬取到了225个城市,6758个餐厅,121.3万条评论。

我们截取其中的部分核心代码:

def find_city_page(path):

data = pd.read_excel(path)

city_lobster_page = pd.DataFrame()

driver = webdriver.Chrome()

for i in range(0,len(data)):

try:

js='window.open("'+data['city_lobster_url'][i]+'")'

driver.execute_script(js)

bsObj = BeautifulSoup(driver.page_source,'html.parser')

bs = bsObj.find_all('a',attrs={'class':'PageLink'})

this_city_lobster={'city_name':data['city_name'][i],

'page_num':max([int(l.text ) for l in bs])}

city_lobster_page = city_lobster_page.append(this_city_lobster,ignore_index=True)

except:

continue

return city_lobster_page

PART2: 城市对比

我们首先要进行分析的是各个城市的小龙虾热度,我们以带有“小龙虾”标签的餐厅评论总和作为最终的对比依据,得到的TOP20城市如下:

可以看出上海市的点评数遥遥领先,可能存在以下两个因素:a.上海市的小龙虾餐厅数量较多,本身存在较大的消费群体 b.大众点评总部在上海,上海的商户入驻数量较多。有兴趣的朋友可以进行更深一步的研究。

圈定了TOP20城市后,我们首先看一下TOP20城市小龙虾的人均消费

本人对于Python学习创建了一个小小的学习圈子,为各位提供了一个平台,大家一起来讨论学习Python。欢迎各位到来Python学习群:960410445一起讨论视频分享学习。Python是未来的发展方向,正在挑战我们的分析能力及对世界的认知方式,因此,我们与时俱进,迎接变化,并不断的成长,掌握Python核心技术,才是掌握真正的价值所在。

该项统计中,包邮区占据了靠前的位置,体现出来包邮区对小龙虾的热情和自身的消费水平。同时可以看到株洲的人均消费接近于上海的一半,有机会到湖南旅游的朋友可以考虑到株洲品尝物美价廉的小龙虾。

紧接着要看的是TOP20城市味道、环境、服务三部分的分数情况:

我们发现服务分与环境分排序相同,二者具有极强的相关性,符合通常认知。同时可以看到在三项分数中,北方的四个城市天津、西安、北京、青岛各项指标均处于靠前的位置,其中天津的服务和环境均处于首位。

结合下图全国小龙虾热力图,似乎有些有悖于大家的认知。

由此我们可以得出在小龙虾整体热度比较强的区域,人们对于小龙虾各方面的要求会相应提高,相反在整体热度偏低区域,人们评价时会相对宽容。同时我们看到海口的各项指标均处于最后一位,需要进行相应的调整。

PART3: 探索龙虾

我们看过了各个城市的情况后,进一步看一下小龙虾本身的一些有趣的内容,首先看一下龙虾的口味,我们选取了各个餐厅中带有龙虾的推荐菜,分词后获得TOP20的口味

十三香、蒜蓉、麻辣高居前三位,根据作者的经验,这基本上是符合大家整体口味的选择。TOP20中的蛋黄,白灼对于作者而言相对陌生,有品尝过的朋友可以分享一些这些口味的体验。

看完了口味,再看一下龙虾的好丽友

部分词云绘制代码如下:

# 解析小龙虾图片

back_color = imread('小龙虾.jpg')  # 解析该图片

# 参数配置

wc = WordCloud(background_color='white',  # 背景颜色

max_words=300,  # 最大词数

mask=back_color,  # 以该参数值作图绘制词云,这个参数不为空时,width和height会被忽略

max_font_size=100,  # 显示字体的最大值

font_path="C:/Windows/Fonts/simhei.ttf",  # 解决显示口字型乱码问题,可进入C:/Windows/Fonts/目录更换字体

random_state=4,  # 为每个词返回一个PIL颜色

#width=2000,  # 图片的宽

#height=1860  #图片的长

)

# 通过encounter计数器生成词云

wc.generate_from_frequencies(word_counts)

# 基于彩色图像生成相应彩色

image_colors = ImageColorGenerator(back_color)

# 绘制词云

plt.figure()

plt.imshow(wc.recolor(color_func=image_colors))

plt.axis('off')

PART5:特(hei)色(an)龙虾

文章最后我们放上几个之前分词发现的特色口味龙虾,或许下一个网红龙虾就在其中

python爬虫可视化web展示_python爬虫可视化——小龙虾相关推荐

  1. python通过ip池爬_python 爬虫 代理ip池(适合初学者)

    初次学习python爬虫的朋友在频繁访问被爬取页面网站时都会被拦截,也就是限制ip.这里教教大家建立代理ip池. #!/usr/bin/env python3# -*- coding: utf-8 - ...

  2. 如何把python可视化到前端_python数据可视化的效果如何在web页面中展示_北京可视化股票...

    有什么APP可以展示可视化的任务进度 可视化任务进度软件,使用敬业签,具体可视有事项开始时间,进度及人.还有结束时间以及人员处理速等等,更多功能如下: 1.敬业签是一款功能比较全面的桌面便签软件,分为 ...

  3. python歌词统计单词词频_Python爬虫网易云歌词及词频统计

    采用词云对邓紫棋的热门前50歌曲进行可视化展示. 本次可视化步骤需要掌握的内容有:了解爬虫的原理 掌握xpath的用法 掌握词云工具wordcloud的使用 了解分词根据jieba的使用 首先,需要找 ...

  4. python爬虫视频 下载 黑马_Python爬虫能爬视频么(python爬虫零基础视频教程)

    Python爬虫能爬视频么 他视频没有的,但是跑了之后你要处理这个视频,就是问题的?你只需要,得到视频的播放地址,还是要把视频完整的下载到本地的.如果只是爬那个视频的下载地址,很简单,如果要下载的话, ...

  5. python新浪股票接口_python 爬虫sina股票数据

    #100行代码,实现财富自由,一起加油 import urllib import pandas as pd import json #爬虫获取 股票金融 =------------------数据爬虫 ...

  6. python基础知识500题_python爬虫基础知识点整理

    更多编程教程请到:菜鸟教程 https://www.piaodoo.com/ 友情链接: 高州阳光论坛https://www.hnthzk.com/ 人人影视http://www.sfkyty.com ...

  7. python爬虫基础项目教程_Python爬虫开发与项目实战_Python教程

    资源名称:Python爬虫开发与项目实战 内容简介: 随着大数据时代到来,网络信息量也变得更多更大,基于传统搜索引擎的局限性,网络爬虫应运而生,本书从基本的爬虫原理开始讲解,通过介绍Pthyon编程语 ...

  8. python爬虫微博评论图片_python爬虫爬取微博评论

    原标题:python爬虫爬取微博评论 python爬虫是程序员们一定会掌握的知识,练习python爬虫时,很多人会选择爬取微博练手.python爬虫微博根据微博存在于不同媒介上,所爬取的难度有差异,无 ...

  9. python爬取收费素材_Python爬虫练习:爬取素材网站数据

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 在工作中的电子文案.ppt,生活中的新闻.广告,都离不开大量的素材,而素材 ...

最新文章

  1. kvm上添加万兆网卡_部署kvm(二)
  2. Matlab与线性代数 -- 矩阵的右除
  3. php在dw中设置按钮圆角,Dreamweaver怎么用CSS制作圆角按钮?
  4. QN8027性能调试
  5. 财经法规税收征收管理法律制度练习题二
  6. 网络编程之网络架构及其演变过程、互联网与互联网的组成、OSI七层协议、socket抽象层...
  7. Elasticsearch5.X的java配置
  8. AUTOSAR从入门到精通100讲(二十)-AUTOSAR通信篇—CanIf模块
  9. rabbitmq报错:PRECONDITION_FAILED - parameters for queue ‘test-1‘ in vhost ‘/‘ not equivalent
  10. PHP的 Warning: Cannot modify header information - headers already sent by警告
  11. POJ 2502 Subway dij
  12. NOD32 2.7、3.0最新升级ID 每天实时同步更新
  13. 如何在网上买到下铺票2020_网上订票怎么选下铺
  14. SI4463的数据冲撞解决办法
  15. 服务器装系统认不得硬盘,装系统的时候认不到硬盘的解决方法
  16. 安卓手机重启日志_一加手机CM12安卓5.0版非官方尝鲜版刷机方法介绍【教程】...
  17. mac键盘上符号的快捷键_Mac键盘符号实际上是什么意思?
  18. “火星一号”项目计划于2026年实现载人登陆火星
  19. 今日春分|春生美好,万事可期
  20. 网页前端实现五星好评效果

热门文章

  1. 【分布式版本控制系统】GIT 托管网站 客户端
  2. ubuntu 出现WIFi设备未就绪的解决办法
  3. Spark删除redis千万级别set集合数据
  4. Unity 像机抖动效果
  5. 计算机睡眠重启后无法识别网络,教您一招解决电脑休眠唤醒后无法使用USB键盘的操作方法...
  6. Sky光遇云野光之翼在哪获得
  7. 计算机软件定时运行,win10系统设置定时运行指定软件的详细方案
  8. YYLabel和YYTextView的使用
  9. 人工智能专业术语:物体识别、卷积神经网络、YOLO分别都是什么?
  10. 二元函数凹凸性判定及最值定理