数据洞察 | Python解读地摊——你想好摆摊去卖什么了吗?
知乎上有一个问题:疫情结束后,你最想做的一件事是什么?
很多人学习python,不知道从何学起。
很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。
很多已经做案例的人,却不知道如何去学习更加高深的知识。
那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!
QQ群:1097524789
有人这样回答,最想见的人就是家楼下烧烤店的老板;最想做的事,就是来一扎啤酒,来几十个串,一个人慢慢悠悠地吃,然后看着周围的人热热闹闹地聊天。
一场疫情,终于不少人明白:原来摇晃的红酒杯,并不是生活的全部。平平淡淡的烟火气才是生活的真谛。
最近,带着烟火气的地摊经济,火了。
这一切都源于成都的一个尝试:3月,成都就出台政策,允许商户在规定区域内临时占道经营。一时间,烧烤摊、服装摊、小商品摊纷纷摆上了路边。
两个月后,成都公布数据显示,解决了10万就业,帮助中心城区餐饮店复工率超98%。原本一季度GDP同比下降3%的成都,一下子又恢复了活力。
人流回来了,城市的活力就回来了。
突然之间,地摊经济成了人们茶余饭后的谈资,许多人都已经开始筹划着摆摊卖什么了。曾经的城管不让摆,到今天的城管喊你来摆摊,地摊经济的时代真的到来了吗?今天我们就带你用数据盘一盘。
1、微博微热点数据
我们先看到微博微热点的数据:
来源:http://www.wrd.cn/goSearch.sht
全网热度指数趋势
从全网热度指数的变化趋势来看,地摊经济的热度在6月3日起逐步升温,6月4日9时达到了99.69的峰值。
全网关键词云图
再看到全网关键词云图,在与地摊经济相关的全部信息中, 提及频次最高的词语依次为"地摊经济"、"摆摊"和"全员"。
2、B站视频弹幕数据
目前在B站上也涌现出许多关于地摊经济的视频。
我们看到其中这个关于成都地摊经济与文化的视频,目前该个视频在B站上播放量达到14.1万,收获了3856条弹幕。
地址:
https://www.bilibili.com/video/BV1Ft4y1y7iG?from=search&seid=12113765873623399312
那么这些弹幕中大家都在谈论些什么呢?我们对这些弹幕进行分析整理,让我们看到词云图。
弹幕词云图
可以看到大家讨论最多的就是除了"地摊"、"成都",还有就是"卫生"、"城管"、"利润"等内容。其中地摊"美食"、"小吃"、"烧烤"、"干净"也是大家十分关注的问题。
是否支持地摊经济弹幕投票
在视频结尾,也发起了你是否支持地摊经济的弹幕投票,支持的打数字1,不支持的打数字2,据统计共有1869条弹幕参与投票,其中91.44%的弹幕表示支持,不支持的仅占8.56%
3、微博评论话题数据
再让我们看到对地摊经济讨论呼声最高的微博。
首先看到微博话题:#你会考虑摆地摊吗#
我们共分析整理了3436条评论数据:
可以看到在考虑是否摆地摊时,大家考虑最多的就是"城管"的问题了,曾经的城管不让摆,到今天的城管喊你来摆摊,真是活久见啊。其次"经济"、"营业额"、"收入"等也是大家特别关心的焦点。
下面是 #如果摆地摊你会卖什么# 这个话题,目前该话题共有408.6万的阅读,共3934条讨论, 去重后我们得到3657条数据。
评论词云
通过分析词云可以发现,"贴膜"是许多人都想尝试的地摊项目。其次"烧烤"、"烤冷面"、"煎饼果子"等街头美食是许多人的选择。除了吃的,"卖花"、"饰品"、"袜子"等商品也是很多人想尝试的。有意思的是,"算命"也被多次提到。
再看到 #你的专业摆地摊儿能干啥# 我们共获取1641条讨论数据。
这里就比较有意思了:
我们可以看到比如新闻传播专业的小伙伴选择卖报纸、机械专业选择专业开锁、哲学专业选择看相算命等魔幻操作。
都是哪些人在参与地摊话题的讨论呢?我们对参与话题的微博用户进行了分析,共获得4875条条数据。
微博评论用户性别占比
可以看到,在参与话题的用户中,女性用户占比达到了71.62%,而男性用户仅占28.38%。在地摊经济的话题中,女性用户参与比例远超男性用户。
评论用户地区分布
参与话题的用户都来自哪些地区呢?经过分析整理可以看到,广东、北京、河南地区参与度最高,分布位居前三名。其次是江苏、也有不少参与话题的海外用户。
评论用户年龄分布
地摊经济的话题评论中,用户年龄分布又是怎样的呢?经过分析可见,90后的参与度最高,占比高达70.56%。其次是00后,占比12.58%。然后80后位居第三,占比为9.15%。
4、教你用Python分析微博数据
微博评论数据分析
我们使用Python获取了微博地摊经济话题的热门评论数据和B站热门视频弹幕数据,进行了处理和分析。B站弹幕的爬虫之前已经展示过,此处放上微博评论爬虫关键代码。
公众号后台回复关键字“地摊”获取完整数据。
01 数据获取
微博分为:微博网页端、微博手机端、以及微博移动端,此次我们选择手机端(https://m.weibo.cn/)进行数据的抓取。
我们要演示的网址如下:
https://weibo.com/5382520929/J4UtmkJUJ?type=comment#_rnd1591495913796
打开上面的网址之后,使用谷歌浏览器的抓包工具,将设备切换到手机端并再次刷新网页。
通过分析网页可以发现,评论的数据是通过动态js进行加载的,分析得到真实的数据请求地址:
https://m.weibo.cn/comments/hotflow?id=4511703964943057&mid=4511703964943057&max_id=140218361800408&max_id_type=0
参数说明如下:
id/mid:评论ID,抓包获取。
max_id/max_id_type: 前一页返回的response数据中。
我们使用requests获取数据,使用json进行解析并提取数据,关键代码如下:
# 导入包
import requests
import numpy as np
import pandas as pd
import re
import time
import json
from faker import Factorydef get_weibo_comment(ids, mid, max_page, max_id=0, max_id_type=0):"""功能:获取指定微博的评论数据,数据接口由chrome切换到手机端抓包获取。注意事项:此程序每次获取的数量有限制,每次获取之后隔5分钟再抓取即可"""max_id = max_idmax_id_type = max_id_type# 存储数据df_all = pd.DataFrame()for i in range(1, max_page):# 打印进度print('我正在获取第{}页的评论信息'.format(i))# 获取URLurl = 'https://m.weibo.cn/comments/hotflow?id={}&mid={}&max_id={}&max_id_type={}'.format(ids, mid, max_id, max_id_type)# 添加headersheaders = {'User-Agent': Factory().create().user_agent(),'Referer': 'https://m.weibo.cn/detail/1591254045309','cookie': '复制cookie信息','X-Requested-With': 'XMLHttpRequest',}# 发起请求try:r = requests.get(url, headers=headers, timeout=3)except Exception as e:print(e)r = requests.get(url, headers=headers, timeout=3)if r.status_code==200:# 解析数据json_data = json.loads(r.text)# 获取数据comment_data = json_data['data']['data']created_time = [i.get('created_at') for i in comment_data]text = [i.get('text') for i in comment_data]user_id = [i['user'].get('id') for i in comment_data]screen_name = [i['user'].get('screen_name') for i in comment_data]reply_num = [i.get('total_number') for i in comment_data]like_count = [i.get('like_count') for i in comment_data]# max_idmax_id = json_data['data']['max_id']# max_id_typemax_id_type = json_data['data']['max_id_type']# 存储数据df_one = pd.DataFrame({'created_time': created_time,'text': text,'user_id': user_id,'screen_name': screen_name,'reply_num': reply_num,'like_count': like_count})# 追加df_all = df_all.append(df_one, ignore_index=True)# 休眠一秒time.sleep(np.random.uniform(2))else:print('解析出错!打印最后一次的值', max_id, max_id_type)continuereturn df_all# 运行函数
if __name__ == '__main__':# 获取一条微博评论df = get_weibo_comment(ids='4511703964943057', mid='4511703964943057', max_page=200)
获取到的数据以数据框的形式存储,包含评论时间、评论文本、评论用户id,回复数和点赞数。格式如下所示:
df.head()
02 数据预处理
我们对获取的数据进行初步的处理,主要包含:
重复值处理
created_time:提取时间信息
text:初步清洗
user_id:根据用户ID获取用户相关信息,步骤暂略。
# 重复值
df = df.drop_duplicates()# 转换字典
week_transform = {'Mon': '星期一','Tue': '星期二','Wed': '星期三','Thu': '星期四','Fri': '星期五','Sat': '星期六','Sun': '星期日'
}# 提取星期
df['day_week'] = df['created_time'].str.split(' ').apply(lambda x:x[0])
df['day_week'] = df['day_week'].map(week_transform) # 提取日期时间
df['time'] = df['created_time'].str.split(' ').map(lambda x:x[-1]+'-'+x[1]+'-'+x[2]+' '+x[3])
df['time'] = df.time.str.replace('May', '05').str.replace('Jun', '06')# text 字段处理
pattern = '<span.*?</span>|<a.*?</a>'df['text'] = [re.sub(pattern, '', i) for i in df['text']]# 删除列
df = df.drop(['created_time', 'user_id', 'screen_name'], axis=1)
经过清洗之后的数据格式如下:
df.head()
03 数据可视化分析
我们使用pyecharts和stylecloud进行可视化分析,此处只展示部分代码。
#如果去摆地摊该做什么生意?#
def get_cut_words(content_series):# 读入停用词表stop_words = [] with open("stop_words.txt", 'r', encoding='utf-8') as f:lines = f.readlines()for line in lines:stop_words.append(line.strip())# 添加关键词my_words = ['胸口碎大石', '烤冷面', '贴膜', '卖衣服', '套大鹅'] for i in my_words:jieba.add_word(i) # 定义停用词my_stop_words = ['信公号', '摆地摊', '摆摊', '地摊', '哈哈哈哈', '手机','这是', '这是哪', '哈哈哈', '真的', '一千', '专业','有人', '我要', '那种', '只能', '好吃', '喜欢', '城管','评论', '卖点', '有没有', '秘籍',]stop_words.extend(my_stop_words) # 分词word_num = jieba.lcut(content_series.str.cat(sep='。'), cut_all=False)# 条件筛选word_num_selected = [i for i in word_num if i not in stop_words and len(i)>=2]return word_num_selected
# 分词
text = get_cut_words(content_series=df.text)# 获取top10
shengyi_num = pd.Series(text)
num_top10 = shengyi_num.value_counts()[:10]# 条形图
bar1 = Bar(init_opts=opts.InitOpts(width='1350px', height='750px'))
bar1.add_xaxis(num_top10.index.tolist())
bar1.add_yaxis('', num_top10.values.tolist())
bar1.set_global_opts(title_opts=opts.TitleOpts(title='如果去摆地摊该做什么生意-Top10'),visualmap_opts=opts.VisualMapOpts(max_=150))
bar1.render()
# 绘制词云图
stylecloud.gen_stylecloud(text=' '.join(text), collocations=False,font_path=r'C:\Windows\Fonts\msyh.ttc', # 更换为本机的字体icon_name='fas fa-pie-chart',size=768,output_name='如果去摆地摊该做什么生意.png')
Image(filename='如果去摆地摊该做什么生意.png')
数据洞察 | Python解读地摊——你想好摆摊去卖什么了吗?相关推荐
- Python解读地摊——你想好摆摊去卖什么了吗?
一场疫情,终于不少人明白:原来摇晃的红酒杯,并不是生活的全部.平平淡淡的烟火气才是生活的真谛. 最近,带着烟火气的地摊经济,火了. 这一切都源于成都的一个尝试:3月,成都就出台政策,允许商户在规定区域 ...
- 地摊经济的时代真的到来了吗?今天我们就带你用数据盘一盘。你想好摆摊去卖什么了吗?
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:CDA数据分析师 地摊经济火了!微博微热点数据 我们先看到微博微热点 ...
- Python解读:地摊经济火了,你想好摆摊去卖什么了吗?
[导语]:今天我们来聊聊地摊经济,Python技术部分请看第四部分.Show me data,用数据说话! 知乎上有一个问题:疫情结束后,你最想做的一件事是什么?有人这样回答,最想见的人就是家楼下烧烤 ...
- python增量更新数据_django数据导出python manage.py dumpdata想指定数据增量更新的正确操作姿势是用参数--pks 5,6,7 指定键值串...
dumpdata¶ django-admin dumpdata [app_label[.ModelName] [app_label[.ModelName] ...]]¶ 输出到标准输出与指定应用程序关 ...
- 玩数据必备Python库:Numpy使用详解
导读:Numpy(Numerical Python的简称)是高性能科学计算和数据分析的基础包,其提供了矩阵运算的功能.本文带你了解Numpy的一些核心知识点. 作者:魏溪含 涂铭 张修鹏 如需转载请联 ...
- 爱尔兰留学超火爆专业:都柏林大学数据科学专业解读
前言 时下,受大数据环境影响,我们的生活与数据相关,无论是购物还是学习,都离不开数据信息,Data Science数据科学也已成为出国留学竞争最激烈的专业之一! (文末送读者福利) 与数据分析相关职位 ...
- 蚂蚁金服美女分析师告诉你:从数据分析到数据洞察,我们是这么玩儿的
图丨蚂蚁金服数据分析师刘培(Faerie) [数据猿导读]大数据项目投入后收入平均仅增加了6%.一个很大的原因是传统企业大多是业务流程驱动,数据更多是作为一个报表使用 作者 | 刘培 官网 | www ...
- 数据科学Python训练营课程:从初级到高级 Python for Data Science Bootcamp Course:Beginner to Advanced
通过代码实现.示例等,掌握您需要了解的关于Python.Pandas和Numpy的一切! 你会学到什么 通过代码实现.示例等,掌握您需要了解的关于Python.Pandas和Numpy的一切! 学习高 ...
- 会python可以从事什么工作-Python入门后,想要从事自由职业可以做哪方面工作?...
Python入门后,想要从事自由职业可以做哪方面工作? 1.爬虫 很多人入门Python的必修课之一就是web开发和爬虫.但是这两项想要赚钱的话,就必须知道开发什么爬什么数据才能赚钱.如果你都不知道的 ...
最新文章
- 明确了!导师再也不能让研究生干这种事!
- MySQL开发遇到的问题
- keil5函数 默认返回值_C++的返回值return
- 第一篇随笔,通常都是内容空洞的。
- ant java build_Ant--基于java的build工具
- gbdt如何处理多分类问题(multiclass,cart)
- 用epl的開源產品開發,可以閉源
- 【原创-长文】openstack 版本D安装配置及本次安装中遇到的问题
- 修改本地数据库root权限密码
- win8修复计算机u盘,Win8系统U盘里的文件不见了怎么办?
- matlab图例只显示文字不显示线条
- linux qdel强制删除任务,SGE:qsub/qstat/qdel/qhost 任务投递和监控
- 《深度学习的艺术:知乎采铜自选集》读书笔记
- Jmeter-Android手机端脚本录制
- 7.16日 别问了稳定跑就完事~ ksjsb可用版 (日均10w)
- c语言读文件编译,C语言读取wav文件的问题,请大侠,编译问题。
- snmp4j使用v3连接报异常:Message processing model 3 returned error: Unknown security name
- Alcohol.120%.v1.9.8.7530.Retail.Incl.Activation.Keymaker-BetaMaster
- 2005年1月4日 东西到了
- 毕业设计 基于zigbee的智能家居系统设计与实现
热门文章
- Vmware安装Centos7上网问题的解决
- ASP.NET Atlas简单控件介绍——Sys.Component基类与Sys.UI.Control基类
- 关于我对于写博客写文章的理解
- SVG 入门——理解viewport,viewbox,preserveAspectRatio
- Spring MVC__自定义日期类型转换器
- PostgreSQL 逻辑订阅 - 给业务架构带来了什么希望?
- Windows 10 IIS所有的html返回空白
- Exchange 企业邮件与Windows安全应用 — Exchange 2007 收件人管理
- 面试官系统精讲Java源码及大厂真题 - 37 ThreadPoolExecutor 源码解析
- 容器编排技术 -- Kubernetes kubectl annotate 命令详解