基于第二届易观算法大赛——性别年龄预测中数据的分析(娱乐向)
最近参见了第二届易观算法大赛——性别年龄预测比赛,基于不懈的努力还是名落孙山,成绩虽然算不得满意,不过比赛过程中收获还是挺多的。目前比赛还没结束,有兴趣的可以参加一下。
本次主要是对比赛中的训练数据进行一些分析和盘点,毕竟搞到实际数据还是挺难的,既然有了就分析一波。
首先,基于比赛数据中的手机型号信息写个爬虫爬取到了对应手机型号的目前市面价格。
爬虫代码如下
import requests
from bs4 import BeautifulSoup
import re
import jsonsdk=open("deviceid_brand.tsv","r",encoding='utf-8')
sdk_w=open("deviceid_brand_w.tsv","w",encoding='utf-8')oneline=sdk.readline()
dirtype={}
count=0
while oneline:count=count+1stm=oneline.replace('\n','')line=oneline.replace('\n','').split('\t')price='-1'try:if dirtype.get(line[2]) ==None:headers = {'Cookie': 'z_pro_city=s_provice%3Dliaoning%26s_city%3Ddalian; userProvinceId=6; userCityId=64; userCountyId=0; userLocationId=17245; realLocationId=17245; userFidLocationId=17245; ip_ck=5MKG4PP3j7QuMzU3NzkwLjE1MzkxNDg2NjU%3D; lv=1539148667; vn=1; gr_user_id=47c200a8-f21c-4aa7-af70-264c35ff344d; gr_session_id_9b437fe8881a7e19=7315395d-337b-4df0-87ca-241c06880e15; gr_session_id_9b437fe8881a7e19_7315395d-337b-4df0-87ca-241c06880e15=true; listSubcateId=57; Hm_lvt_ae5edc2bc4fc71370807f6187f0a2dd0=1539148719; visited_subcateId=57; visited_subcateProId=57-0; visited_serachKw=samsung%09GT-I8552; Adshow=5; questionnaire_pv=1539129604; Hm_lpvt_ae5edc2bc4fc71370807f6187f0a2dd0=1539148808; z_day=izol103323=2&rdetail=4'}r = requests.get('http://detail.zol.com.cn/index.php?c=SearchList&keyword='+line[1]+'%09'+line[2], headers=headers, timeout=10)# print(r.status_code)# print(r.headers)soup = BeautifulSoup(r.text)if soup.find(name="b", attrs={"class": "price-type"})!=None:price=soup.find(name="b", attrs={"class": "price-type"}).textprice=str(price).replace(' ','').replace('\t','').replace('\n','')mc=re.search('[0-9]*',price).group()if mc !='':if float(mc)>200:print(count,stm+'\t'+mc)dirtype[line[2]]=mcsdk_w.write(stm+'\t'+mc+'\n')else:sdk_w.write(stm + '\t' + dirtype.get(line[2]) + '\n')except Exception as e:print('error',e)oneline = sdk.readline()
sdk.close()
sdk_w.close()
爬取后的手机型号和手机价格用于之后的统计
爬取好的数据可以点击下载
统计1:男性与女性购买手机的平均价格
可以看出女性购买的手机价格更高一些,果然拍照手机在女性消费者中更有市场啊
统计2:不同年龄段中手机平均价格
各年龄段大致的价格差别不大,不过还是可以看出30岁左右的女性愿意购买价格贵一些的手机(美颜需求?),15-20的男性青年学生愿意购买较贵的手机(游戏需要?),老年人手机的价格并非想象中那么低,看来老年人对智能手机的需求还是很旺盛的。
统计3:不同年龄段中最贵手机价格统计
价格差不多,不过还是可以看出35岁以上的男性更有实力去购买更贵的手机(事业有成,财力丰厚),平均价格在6700元以上(我是买不起的-_-!)
统计4:不同年龄段中最低价手机价格统计
最低手机价格都在300以下(功能机的主场?),15岁左右手机价格最低(莫欺少年穷)
价格看完了,我们再看看应用安装数量的情况
统计5:不同年龄段中应用数量平均值统计
男性与女性的应用数量基本相同(男孩的游戏,女孩的购物),30岁前男性的手机应用数量多,30岁后女性的手机应用数量多。
最后我们看看谁睡的最晚,起的最早
统计6:一天中应用使用的最早/最晚时间点
20岁以下及左右的年轻人1点左右就睡了(第二天还要上学上课)25岁3点左右(风华正茂嗨起来),30岁(男性注意身体早点睡了,女性睡的更晚),35岁(男性中年危机,彻夜难眠-_-!),50岁左右,女性起的更早,55岁男性起的更早。
以上纯属胡扯,不过数据还挺有意思的,有时匪夷所思,有时又醍醐灌顶。
最后,再次感谢易观提供的用户行为数据。
基于第二届易观算法大赛——性别年龄预测中数据的分析(娱乐向)相关推荐
- 2018第二届易观算法大赛报名啦
- 冠军奖3万元!CSDN×易观算法大赛开赛啦
伴随着5G.物联网与大数据形成的后互联网格局的逐步形成,日益多样化的用户触点.庞杂的行为数据和沉重的业务体量也给我们的数据资产管理带来了不容忽视的挑战. 为了建立更加精准的数据挖掘形式和更加智能的机器 ...
- CSDN×易观算法大赛火热进行中~
伴随着5G.物联网与大数据形成的后互联网格局的逐步形成,日益多样化的用户触点.庞杂的行为数据和沉重的业务体量也给我们的数据资产管理带来了不容忽视的挑战. 为了建立更加精准的数据挖掘形式和更加智能的机器 ...
- 冠军奖 3 万元!CSDN×易观算法大赛火热进行中
伴随着5G.物联网与大数据形成的后互联网格局的逐步形成,日益多样化的用户触点.庞杂的行为数据和沉重的业务体量也给我们的数据资产管理带来了不容忽视的挑战. 为了建立更加精准的数据挖掘形式和更加智能的机器 ...
- 天山杯第二届新疆工业互联网安全大赛初赛--Who is a traitor流量分析wp
资源下载地址: ``` 天山杯第二届新疆工业互联网安全大赛 https://download.csdn.net/download/rickliuxiao/86734942 ``` 题目提供了 Who ...
- 互联网+大赛作品_【快讯】智物联获第二届中国工业互联网大赛优秀作品奖
近日,第二届中国工业互联网大赛总决赛如期举行,本次大赛吸引了1457个专业队伍.2000余家企业.近7000名选手参赛,规模较去年增长50%.参赛作品涵盖原材料.消费品.装备.电子等近三十个工业行业, ...
- 第二届「开悟」大赛结果公布,联动高校破局AI研究挑战
感谢阅读腾讯AI Lab微信号第143篇文章.本文将公布第二届「腾讯开悟多智能体强化学习大赛」决赛成果. 腾讯正在联动高校,利用王者荣耀的复杂环境,为推动通用人工智能研究创造各种可能性. 4月14日, ...
- VRAR产业峰会暨第二届华为VR开发应用大赛颁奖典礼在和平区成功举办
摘要:近日,由沈阳市和平区人民政府和华为技术有限公司主办的VRAR产业峰会暨第二届华为VR开发应用大赛颁奖典礼在沈阳君悦酒店圆满举办. 12月29日,由沈阳市和平区人民政府和华为技术有限公司主办的VR ...
- 关于举办第二届中国工业互联网大赛的通知——500万奖金池
关于举办第二届中国工业互联网大赛的通知 各有关单位: 为深入实施工业互联网创新发展战略,持续提升工业互联网创新能力,支撑服务实体经济数字化转型,定于2020年7月-12月举办第二届中国工业互联网大赛( ...
最新文章
- 机器视觉系统的几个问题解析
- union all与空字段的一种用法
- php 实现查询百度排名,PHP实现获取百度top50的搜索排行关键字
- [福大软工] W班 总成绩排行榜
- APK文件的解包打包和修改
- SVM支持向量机【直观理解】
- VMware虚拟机中CentOS网络设置
- 【转载】dotnet 线程同步
- 微软沈向洋自述:在实现职业目标的道路上,我得到了七个教训
- 学员使用移动端进行自学的视频动画html,Html5移动端获奖无缝滚动动画实现
- css中的伪类 之 first-child
- matlab中删除照片_照片也有隐私,教你如何批量删除数码照片中的相机、光圈和地理位置等 EXIF 信息...
- SAI:Switch Abstraction Interface
- WIncc7.4入门
- Android 如何反编译apk查看源码
- 计算机毕业设计asp.net小型超市进销存管理系统(源码+系统+mysql数据库+Lw文档)
- 龙果 mycat mysql_龙果学院Spring Boot源码解析视频教程完整未加密(价值599)
- 从美国人工智能年会看2017世界人工智能最新研究成果
- 前端学习之路Electron——全局注册、注销快捷键
- ContOS中常用软件的安装