前言:

上期与大家分享了一些旅游的内容,本期则分享一些为吃货们量身定制的文章,大家的好丽友——小龙虾。

PART1:获得数据

本次数据我们爬取了大众点评中所有打上小龙虾标签的餐厅

从上图中可以看出,我们可以获得餐厅的人均消费、点评数量、推荐菜、评分(口味、环境、服务)等信息,用于我们之后的分析。我们此次总共爬取到了225个城市,6758个餐厅,121.3万条评论。

我们截取其中的部分核心代码:

def find_city_page(path):

data = pd.read_excel(path)

city_lobster_page = pd.DataFrame()

driver = webdriver.Chrome()

for i in range(0,len(data)):

try:

js='window.open("'+data['city_lobster_url'][i]+'")'

driver.execute_script(js)

bsObj = BeautifulSoup(driver.page_source,'html.parser')

bs = bsObj.find_all('a',attrs={'class':'PageLink'})

this_city_lobster={'city_name':data['city_name'][i],

'page_num':max([int(l.text ) for l in bs])}

city_lobster_page = city_lobster_page.append(this_city_lobster,ignore_index=True)

except:

continue

return city_lobster_page

PART2: 城市对比

我们首先要进行分析的是各个城市的小龙虾热度,我们以带有“小龙虾”标签的餐厅评论总和作为最终的对比依据,得到的TOP20城市如下:

可以看出上海市的点评数遥遥领先,可能存在以下两个因素:a.上海市的小龙虾餐厅数量较多,本身存在较大的消费群体 b.大众点评总部在上海,上海的商户入驻数量较多。有兴趣的朋友可以进行更深一步的研究。

圈定了TOP20城市后,我们首先看一下TOP20城市小龙虾的人均消费

本人对于Python学习创建了一个小小的学习圈子,为各位提供了一个平台,大家一起来讨论学习Python。欢迎各位到来Python学习群:960410445一起讨论视频分享学习。Python是未来的发展方向,正在挑战我们的分析能力及对世界的认知方式,因此,我们与时俱进,迎接变化,并不断的成长,掌握Python核心技术,才是掌握真正的价值所在。

该项统计中,包邮区占据了靠前的位置,体现出来包邮区对小龙虾的热情和自身的消费水平。同时可以看到株洲的人均消费接近于上海的一半,有机会到湖南旅游的朋友可以考虑到株洲品尝物美价廉的小龙虾。

紧接着要看的是TOP20城市味道、环境、服务三部分的分数情况:

我们发现服务分与环境分排序相同,二者具有极强的相关性,符合通常认知。同时可以看到在三项分数中,北方的四个城市天津、西安、北京、青岛各项指标均处于靠前的位置,其中天津的服务和环境均处于首位。

结合下图全国小龙虾热力图,似乎有些有悖于大家的认知。

由此我们可以得出在小龙虾整体热度比较强的区域,人们对于小龙虾各方面的要求会相应提高,相反在整体热度偏低区域,人们评价时会相对宽容。同时我们看到海口的各项指标均处于最后一位,需要进行相应的调整。

PART3: 探索龙虾

我们看过了各个城市的情况后,进一步看一下小龙虾本身的一些有趣的内容,首先看一下龙虾的口味,我们选取了各个餐厅中带有龙虾的推荐菜,分词后获得TOP20的口味

十三香、蒜蓉、麻辣高居前三位,根据作者的经验,这基本上是符合大家整体口味的选择。TOP20中的蛋黄,白灼对于作者而言相对陌生,有品尝过的朋友可以分享一些这些口味的体验。

看完了口味,再看一下龙虾的好丽友

部分词云绘制代码如下:

# 解析小龙虾图片

back_color = imread('小龙虾.jpg')  # 解析该图片

# 参数配置

wc = WordCloud(background_color='white',  # 背景颜色

max_words=300,  # 最大词数

mask=back_color,  # 以该参数值作图绘制词云,这个参数不为空时,width和height会被忽略

max_font_size=100,  # 显示字体的最大值

font_path="C:/Windows/Fonts/simhei.ttf",  # 解决显示口字型乱码问题,可进入C:/Windows/Fonts/目录更换字体

random_state=4,  # 为每个词返回一个PIL颜色

#width=2000,  # 图片的宽

#height=1860  #图片的长

)

# 通过encounter计数器生成词云

wc.generate_from_frequencies(word_counts)

# 基于彩色图像生成相应彩色

image_colors = ImageColorGenerator(back_color)

# 绘制词云

plt.figure()

plt.imshow(wc.recolor(color_func=image_colors))

plt.axis('off')

PART5: 特(hei)色(an)龙虾

文章最后我们放上几个之前分词发现的特色口味龙虾,或许下一个网红龙虾就在其中

转载于:https://www.cnblogs.com/paisenpython/p/10271714.html

python爬虫可视化——小龙虾相关推荐

  1. 【爬虫+数据可视化毕业设计:英雄联盟数据爬取及可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩】

    [爬虫+数据可视化毕业设计:英雄联盟数据爬取及可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩] https://b23.tv/TIoy6hj

  2. 【【数据可视化毕业设计:差旅数据可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩】-哔哩哔哩】 https://b23.tv/iTt30QG

    [[数据可视化毕业设计:差旅数据可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩]-哔哩哔哩] https://b23.tv/iTt30QG ht ...

  3. python爬虫可视化excel_Python爬虫以及数据可视化分析!

    简单几步,通过Python对B站番剧排行数据进行爬取,并进行可视化分析 下面,我们开始吧! PS: 作为Python爬虫初学者,如有不正确的地方,望各路大神不吝赐教[抱拳] 本项目将会对B站番剧排行的 ...

  4. python爬虫可视化web展示_基于Python爬虫的职位信息数据分析和可视化系统实现

    1. 引言 在这个新时代,人们根据现有的职位信息数据分析系统得到的职位信息越来越碎片化,面对收集到的大量的职位信息数据难以迅速地筛选出对自己最有帮助的职位信息,又或者筛选出信息后不能直观地看到数据的特 ...

  5. Python爬虫可视化第1季-城市旅游数据分析

    前言: 本着跟大家一同探讨学习的态度,今后几期文章会更新一些用python实现爬虫&可视化的文章.Python对于本人来讲也是一个在逐渐学习掌握的过程,这次的内容就从旅游开始讲起,进入正文前首 ...

  6. Python爬虫+可视化分析技术实现招聘网站岗位数据抓取与分析推荐系统

    程序主要采用Python 爬虫+flask框架+html+javascript实现岗位推荐分析可视化系统,实现工作岗位的实时发现,推荐检索,快速更新以及工作类型的区域分布效果,关键词占比分析等. 程序 ...

  7. python爬虫可视化web展示_python爬虫可视化——小龙虾

    前言: 上期与大家分享了一些旅游的内容,本期则分享一些为吃货们量身定制的文章,大家的好丽友--小龙虾. PART1:获得数据 本次数据我们爬取了大众点评中所有打上小龙虾标签的餐厅 从上图中可以看出,我 ...

  8. Python爬虫可视化第2季-舌尖上的“小龙虾”

    前言: 上期内容与大家分享了一些旅游的内容,从本期开始,会陆续分享一些为吃货们量身定制的文章.世界杯激战正酣,大家在欣赏精彩比赛的同时,怎能少了美食的陪伴,我们今天就来聊聊世界杯的好丽友-小龙虾. P ...

  9. Python爬虫可视化-舌尖上的“小龙虾”

    点击上方"程序人生",选择"置顶公众号" 第一时间关注程序猿(媛)身边的故事 作者 数据森麟 如需转载,请联系原作者授权. 前言: 上期与大家分享了一些旅游的内 ...

最新文章

  1. 2018/8/24阅读文献 A Unified Model for Multi-Objective Evolutionary Algorithms with Elitism
  2. 【MySQL】Java中的 JDBC 编程
  3. C#.NET学习笔记---C#中的条件编译
  4. Linux疑难杂症解决方案100篇(十九)-什么是TCP协议中的“三次握手,四次挥手”?带你深入探讨下
  5. linux 删除20日前数据,Linux 维护常用命令
  6. 关于hbase的read操作的深入研究 region到storefile过程
  7. 操作索引库-mapping属性
  8. CF449 C. Jzzhu and Apples
  9. ansible web_最小的Web浏览器,Microsoft Access替代品,Ansible,Kubernetes,JavaScript,piwheel等
  10. centos7.9使用rpm安装Jenkins_亲测成功---持续集成部署Jenkins工作笔记0022
  11. 李彦宏:属于百度的日子终于来了,曾与Facebook谈建合资公司
  12. 阿里云盘内测申请_阿里云网盘开放内测申请,网盘行业又成香饽饽了?
  13. 台达plc使用c语言编程软件,台达PLC编程软件_台达PLC编程软件官方版下载[plc编程]-下载之家...
  14. 容智RPA可以在医疗哪些业务上降本增效
  15. css样式给标签加上小手图标
  16. 【视频剪辑】Pr剪切素材时常用快捷键及素材快进快退
  17. linux watchdog超时时间,S3C2440看门狗定时器(Watchdog)
  18. pom.xml报错找不到jar-解决
  19. 软件测试周刊(第08期):大过节的
  20. php 自己画地图,绘制自己的独家地图

热门文章

  1. 一些有用的Google Hack
  2. PHP getimagesize(): SSL operation failed with code 1. OpenSSL Error messages: error:14090086:SSL rou
  3. Mathematica 训练课(5)-函数计算方法整理
  4. 无间道中毒综合征(影迷朋友过来看看)
  5. 字符串最长对称 java_求字符串最长对称字符串的长度(转何海涛博客)
  6. vue2.0 渲染列表在苹果手机加载不出来的问题
  7. 实战:k8s之NFS存储-2022.2.22
  8. 公安部:“净网2018”侦破网络犯罪案件57519起
  9. PC游戏中用CEF3制作内嵌浏览器
  10. okhttp3源码初探