学会Python更多是爬取数据,并把爬回来的数据进行分析和挖掘!举几个实例简要说明:

一、扒了扒蔡徐坤100万+微博转发中,假流量占了多少的比例。

随机抓取蔡徐坤100万+转发的微博《再见,“任性的”千千…》的10万条转发数据,并且分析蔡徐坤真假转发流量的比例以及真假粉丝的用户画像。

发现102313条转发数据中,有95397条是由假粉丝转发的,占了总转发的93.24%,只有6916条是由真粉丝转发的,占6.76%。6916条数据中,除去重复转发的粉丝,真实粉丝数量只剩下3926个。也就是说,真实转发的粉丝数量,占总转发量的3.84%。

与之相比,吴青峰10006条转发数据中,只有很少比例的假粉丝量,绝大部分都是真粉丝转发的。在9658条真粉丝转发数据中,真粉丝量也高达9318,说明不存在粉丝打榜的情况。

另外还有一些有趣的发现:假粉丝的平均关注是3.44,平均粉丝数是1.04,没有简介,昵称基本上都是“中文+英文和数字”这个格式,很多假粉丝的昵称都带有“坤”、“蔡”、“葵”、“kun”等字,头像都是蔡徐坤(说明很多都是定制粉啊)。

爬虫和数据分析代码戳:CaiXuKun,具体的数据分析文章戳:《用大数据扒一扒蔡徐坤的真假流量粉》

二、爬取了西瓜直播(今日头条旗下APP)各类型游戏的主播直播数据107.5万条,并分析直播平台和游戏主播行业是否真如我们想象般的暴利

使用多线程爬虫爬取了西瓜直播(今日头条旗下APP)各类型游戏的主播直播数据107.5万条(时间:2019年4月30日0时至5月7日0时7天,平均每隔5分钟获取一次各类型游戏所有主播直播数据),并分析直播平台和游戏主播行业是否真如我们想象般的暴利,以及游戏主播的回报跟付出的努力是否成正比。

全平台7天内出现的主播有4601人,其中有3266位主播具有打赏收入,有1335位主播是没有打赏收入的。

在3266位有打赏收入的主播中,历史总打赏小于100元的有1143人,占总数的35%。历史总打赏小于1万元的有2491人,占总数的76%。历史总打赏大于10万元的有177人,占总数的5%。

那么努力和收获是成正比的吗?

图表中的趋势告诉我们:是的。总收入一百元以内的直播,平均每日直播2.2小时,而总收入一百万到一千万的主播,平均每日直播5.7小时!

可能大家觉得这个时间不长,但是要知道玩游戏是一项需要全神贯注的游戏,主播要是走神了没玩好,人气就不在了,礼物也刷不上来。试想一下每日要全神贯注玩6个半小时的游戏,还要解说和互动,就知道辛苦程度如何了。

可以看到,节假日的观看人数要比非节假日高。每日观看人数从7点开始攀升,到12点达到小峰值(500万左右),再从下午的4点开始急剧攀升,下午6点的观众人数,是12点的3-4倍。说明观众习惯下午下班后打开APP观看直播。下午6点一直到晚上12点,都是直播的黄金时间。

爬虫和数据分析代码戳:LiveStreaming,具体的数据分析文章戳:《用大数据扒一扒蔡徐坤的真假流量粉》

三、爬取英语外籍老师与本土老师招聘数据,分析洋外教是否真的是一群没学历、没教学经验的外国人拿着高工资在我们国家逍遥快活

爬取外籍人员招聘网站JobLEADChina上的外籍英语老师招聘数据945条,万行教师人才网上的英语老师招聘数据5780条,以及微信群成员信息498条,并分析外教教师的招聘状况。

大部分中教的工资都在10K以内,而大部分的外教工资都在10K以上。中教的月平均工资是8.3K(按照城市为单位平均后是7.9K),而外教的月平均工资是15.7K,大概是中教的2倍。

在国内实习的外教月薪可以轻松破万,入门级的外教更是可以拿到15.8K的高薪。而我们的教师,即使工作了五到十年,还是拿不到入门级外教的工资。

Any education(也就是不管你的学历)的外教,来到中国可以拿的月平均工资是13.9K人民币,比我们硕士毕业的英语老师还要高出不少。有本科学历的外教平均工资是16.3K,硕士毕业的轻松上2万。

我们把外教群里的外教来源省份画了出来,可以看到,有来自美国纽约的、有来自加拿大多伦多的,有来自英格兰的,当然,也有来自法国巴黎的(法语)、有来自土耳其伊斯坦布尔的(土耳其语)、有来自荷兰阿姆斯特丹的(荷兰语),有来自西班牙拉科鲁尼亚的(西班牙语),还有来自其它各种各样地方的,你们自己感受一下。

爬虫和数据分析代码戳:ESL,具体的数据分析文章戳:《没经验没学历的外教为啥能拿1.4W+的高薪?》

四、爬取最近大火的程序员集体抵制996的项目996.ICU中,Issues页面讨论数据和点了star的程序员Github个人信息数据,并且分析这群抵制996的程序员都是何方神圣

爬取了Github热门项目996.ICU中Issues页面的10037条讨论数据和39987条点了star的程序员Github个人信息数据。

可见,抵制996的程序员,最多的是来自阿里系的公司,有148人,其次是腾讯、百度、京东等,以加班文化著称的华为,排名才第9

当然,还有很多来自小米、微软、谷歌、中兴、联想、ThoughtWorks等各个公司的程序员。

可以看到,浙大以59人star了该repos排名榜首,其次是上海交大、清华、电子科大、北邮、武大、哈工大、中科大、复旦大学。这些大学,都是非常有名的大学啊,也是出产程序员的大学。当然,还有很多人来自于华中科大、卡耐基梅隆大学、北航、北理工、中山大学等学校的学生。

北京以2094人位居榜首!其次是上海、杭州、深圳等等。这些城市,恰恰是国内互联网行业发展得最好的城市。

看来这个repos确实在全国程序员界都引起了巨大的反响,乃至新加坡、日本、美国等地的程序员都前来支持。

这群程序员的平均粉丝数为10.9,关注数为14.6,repos数为19.1。从数据可以看出,大部分都是默默无闻又兢兢业业的苦逼基层程序员。

关注996工作制的程序员中,有程序员大牛。排名第一的是一个熟悉的面孔,轮子哥!另外有来自腾讯的Coco,来自滴滴的singwhatiwanna,技术博主颜海镜等,这些人都在关注996。在39987个star了该repos的程序员中,粉丝数大于1000的有47人,大于500的有110,大于100的有598人。说明还是有很多有影响力的程序员在关注996工作制。

爬虫和数据分析代码戳:ICU996,具体的数据分析文章戳:《大胆,都是哪些程序员在反对996?!》

更多案例分享,请听下回分解!

文章持续更新,扫描下方CSDN官方二维码,回复【python资料】【python面试】【简历】有我准备的python学习路线和python面试资料和简历模板,欢迎与我一起学习交流!

你都用 Python 来做什么 学Python能做什么相关推荐

  1. 学python有什么好处 学完可以做什么

    近几年来,python在国内越来越火,越来越多的人开始学习python,学完python以后不仅仅是有了更多的就业机会,而且薪资也会越来越高. 学python可以做什么 学python可以做web开发 ...

  2. 自学python有用吗-普通人学Python有用吗?学完能做什么?

    普通人学Python有用吗?学Python有没有用因人而异,有些人纯粹是兴趣爱好想了解一下,另一些在工作中涉及到数据分析统计,学会Python可以大大提高工作效率,剩下的就是程序员了,靠技术吃饭的人, ...

  3. 学好python能干嘛-普通人学Python有用吗?学完能做什么?

    普通人学Python有用吗?学Python有没有用因人而异,有些人纯粹是兴趣爱好想了解一下,另一些在工作中涉及到数据分析统计,学会Python可以大大提高工作效率,剩下的就是程序员了,靠技术吃饭的人, ...

  4. python对英语和数学的帮助-英语和数学都不好,但是我想学Python编程可以吗?

    我们有很多人想要做某件事之前都会产生畏难情绪,比如有很多人问:英语和数学都不好,但是我想学Python编程可以吗?你们大家说可以吗?可以,为什么呢?不可以,为什么呢? 收到很多咨询的留言,学生总是会问 ...

  5. 老师学python可以干嘛-学 Python 都用来干嘛的?

    用python爬取了"学python都用来干嘛"下的部分有趣回答来回答这个问题.(如有侵权,请告知我删掉= =)(为了爬虫而强行爬虫,其实根本就不用爬虫的= =) 小白一枚,我是真 ...

  6. python对英语的要求_英语和数学都不好,但是我想学Python编程可以吗?

    我们有很多人想要做某件事之前都会产生畏难情绪,比如有很多人问:英语和数学都不好,但是我想学Python编程可以吗?你们大家说可以吗?可以,为什么呢?不可以,为什么呢? 收到很多咨询的留言,学生总是会问 ...

  7. python不会英语不会数学怎么自学-英语和数学都不好,但是我想学Python编程可以吗?...

    我们有很多人想要做某件事之前都会产生畏难情绪,比如有很多人问:英语和数学都不好,但是我想学Python编程可以吗?你们大家说可以吗?可以,为什么呢?不可以,为什么呢? 收到很多咨询的留言,学生总是会问 ...

  8. 普通人学python有意义吗-普通人学Python有用吗?学完能做什么?

    普通人学Python有用吗?学Python有没有用因人而异,有些人纯粹是兴趣爱好想了解一下,另一些在工作中涉及到数据分析统计,学会Python可以大大提高工作效率,剩下的就是程序员了,靠技术吃饭的人, ...

  9. 学python有没前途-都说现在python牛,转行学Python有发展前景吗?

    大家都知道,Python现在已经是编程语言之王了.那么,Python到底为什么这么牛?哪些优势战胜了其他语言? 另外,Python的就业前景怎么样?有哪些就业岗位? 今天小编就来为大家具体解读一下. ...

  10. 教孩子学编程 python 下载_趣学python pdf 中文下载

    趣学python教孩子学编程pdf是一本专为想要学习python不错的朋友准备的入门教程,可以轻松的帮之你由浅入深,由难到易的学习python编程,感兴趣欢迎下载学习! 趣学python教孩子学编程p ...

最新文章

  1. RGB Color Codes Chart
  2. springweb拦截器
  3. 易语言单窗口单ip软件源码_游戏工作室如何防封?游戏账号和IP被封的解决方法...
  4. 信息系统项目文档及其管理
  5. 【uni-app】动态计算图片高度
  6. 浅谈ref与out区别
  7. Mybatis+mysql动态分页查询数据案例——分页工具类(Page.java)
  8. postgre 生成数据库html文档_还在手动整理数据库文档?试试这个工具
  9. Docker学习总结(24)——在Docker中监视Java应用程序的5种方法
  10. mysql二级索引_mysql 什么是二级索引
  11. 苹果M1芯片版Mac出现重装系统Bug,如何正确重装 macOS
  12. sql语句 -- 倒序 升序
  13. QQ聊天记录的备份和恢复(含迁移与合并)
  14. Android-手撸抖音“潜艇大挑战”,最简单的Android自定义ListView下拉刷新与上拉加载
  15. If you insist running as root, then set the environment variable RUN_AS_USER=root before running thi
  16. swoole.so: undefined symbol: _zval_ptr_dtor
  17. jvm配置垃圾收集参数
  18. 海昇智 :拼多多直通车开车需要分时间吗?
  19. python有哪些细节描写_细节描写训练,莫失良机
  20. 如何将你原来的服务器迁移到腾讯云服务器?

热门文章

  1. 蓝牙信标Beacon_信息推送,室内定位,室内导航
  2. 【ES6】es6数组中对象去重,数组对象去重方法总结---filter()与reduce()实践
  3. yaml的基本语法格式
  4. earlier的意思_earlier是什么意思?
  5. while循环语句初学
  6. 跟着鸟哥学linux【二】
  7. 在打印服务器中新增纸张规格后,在打印机首选项中的自定义纸张中看不到的原因
  8. 位置度最大实体计算方式
  9. Skyline查询实验数据点的生成
  10. Vue2 -- 组件化