大概一年多以前,和几个小伙伴均认同一个趋势:觉得通过技术手段获取网上越来越丰富的数据,并基于这些数据做分析及可视化,必能产生有价值的结果,帮助大家改善生活。(大数据被叫烂了,所以用低调的方式来解释我们的初心)

第一步:开工,为基金服务

恰巧和几个基金的朋友(包括对冲基金和VC/PE基金)聊到这个趋势,他们非常认同这个观点并愿意付费,认为可以用这种实时且定量的方式来跟踪一些上市公司或者私有公司旗下的产品,来确定谁是有价值的投资目标。于是立马获得订单并促使我们开干,因为考虑到Python灵活及各类爬虫库的优势,最终选用Python来做数据获取的主体架构;也有新潮的小伙伴使用Go,同时用Go搭建了一个很酷的框架来制造分布式的智能爬虫,应对各种反爬策略。抓取数据主要来自于如下网站:

各应用商店:获取App的下载量及评论

大众点评及美团网:餐饮及各类线下门店消费及评价情况

汽车之家及易车:汽车的相关数据

58及搜房;房屋租售数据

新浪微博:用户的各种发言及舆论

财经数据:雪球及各类财经网站

宏观数据网站:天气、12306火车、机票网站

最初的产品纯粹是为基金服务。下图是在各个维度找出最有价值的App,各种量级范围内在30天/7天增长最快及评价最好榜单。(顺便吹一下牛,我们这个榜单很早就发现小红书App的快速增长趋势以及在年轻人中的极佳口碑)

下图是对某个App的下载量跟踪,帮着基金做尽职调查。

下图是某上市公司的门店变化情况,帮着基金跟踪TA的增长情况。

下图是国内各个机场的实时流量,帮着基金跟踪国内出行的实时情况,或许能从一个侧面反映经济是否正在走入下行通道。

第二步:扩展思路,开源和分享

为基金服务,虽然给钱爽快,但是也让方向越走越窄。首先,基金希望信息是独享的和封闭的,投资就是投资人之间的零和博弈,公开的信息就迅速会一钱不值,基金最在乎的就是信息的独享及提前量,所以各个基金都希望我们呈现的数据及分析结果能够独家。这样迅速让我们的方向收窄以及工作的趣味性降低,其次,毕竟对于基金而言,能分析的投资对象及方向是非常有限的。而且现阶段,大部分对冲基金里面的分析员的数据分析能力其实很弱:这些分析员里面能用VBA或者能在Excel里面使用矩阵及向量乘法的人几乎可以惊为天人;能写offset函数的人,就应该直接提拔了;大部分人停留在一个个数网页找数据的阶段。所以和他们起来十分费劲,除了提供一些粗暴的数据,并不能产生太有价值的结果。

还共享了一些和青年生活最相关的分析及数据。下图是深圳市早晨高峰时段某类人群出行的热点图,通过热点分析,试图找出这类人群的居住和上班的聚集区。

下图反映了在各时间段在深圳科技园附近下车的人群密度。

写这些报告,团队没有挣到一分钱,但是整个成就感和满意度大大上升。同时,在Python及各种技术上的积累也提高颇多,数据量级的积累也越发丰富,数据相关的各项技术也在不断加强。同时,顺势扩大了数据源:京东、淘宝等数据也纳入囊中。

第三步:扩展客户

在知乎上写这些报告,除了收获知名度,还收获意外之喜,一些知名品牌的消费品公司、汽车公司及互联网公司,主动找我们做一些数据抓取及分析。整个团队没有一个BD,也从来不请客户吃饭。

于是我们顺势做了如下的网站以及一个成熟的Dashboard框架(开发数据监控的Dashboard超有效率),目前主要监控和分析母婴、白酒、汽车及房地产四大行业,都是一些愿意花钱进行深度了解用户以及行业趋势的公司。收入自动上门,很开心!

下图是抓取汽车之家的数据,做出BBA(奔驰宝马奥迪)这三大豪华品牌的交叉关注度,帮助品牌及4A公司了解他们用户的忠诚度以及品牌之间迁移的难度。

下图是抓取新浪微博的数据,分析广东白酒的消费场所

下图是抓取新浪微博的数据,分析广东白酒和各类食品的相关度。

【编辑推荐】

【责任编辑:未丽燕 TEL:(010)68476606】

点赞 0

python可以干什么工作-Python学完工作不好找?看看数据分析可视化都可以做什么...相关推荐

  1. python能做什么工作-Python学完工作不好找?看看数据分析可视化都可以做什么

    大概一年多以前,和几个小伙伴均认同一个趋势:觉得通过技术手段获取网上越来越丰富的数据,并基于这些数据做分析及可视化,必能产生有价值的结果,帮助大家改善生活.(大数据被叫烂了,所以用低调的方式来解释我们 ...

  2. Python学完工作不好找?看看数据分析可视化都可以做什么

    大概一年多以前,和几个小伙伴均认同一个趋势:觉得通过技术手段获取网上越来越丰富的数据,并基于这些数据做分析及可视化,必能产生有价值的结果,帮助大家改善生活.(大数据被叫烂了,所以用低调的方式来解释我们 ...

  3. python可以干什么工作-python到底能做什么

    Python 的应用领域主要有如下几个. 编写服务器软件 Python 对于各种网络协议的支持很完善,所以经常被用于编写服务器软件以及网络爬虫. 比如说,Python 的第三方库 Twisted,它支 ...

  4. python兼职 在家工作-在家兼职的人或者是自由职业的人都在做什么?

    DT君给大家分享几个之前采访过的自由职业者的故事吧,第一位是阿元,今年29岁,是上海的一名网文作者.下面是阿元的自述: 阿元 29岁 网文作者 上海 我上过几年班.我大学是数学专业,研究生读的是金融, ...

  5. python虽然火为什么工作少_学Python开发干什么工作 人工智能方面的吗

    大家都在学Python开发,你和别人的差距在哪?我们为何要学习Python开发,如何才能学好这个语言呢,学有所成之后能做什么呢? 据我所知,Python大概于2000年前后(或许实际情况更早一些)传入 ...

  6. 自学python能找到工作吗-学完python能找到工作么

    Python具有丰富和强大的库.它常被昵称为胶水语言,能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起.在学习Python之前,我们应该知道这些内容: 它是一种面向对象的解释型计算 ...

  7. python是干什么的-python干嘛用

    广告关闭 2017年12月,云+社区对外发布,从最开始的技术博客到现在拥有多个社区产品.未来,我们一起乘风破浪,创造无限可能. python有很多优雅有趣的代码写法,同时还很简短,以至于当我刚开始接触 ...

  8. 永济计算机培训,永济云计算培训,永济计算机培训学费,永济计算机学完工作好找吗 - IT教育频道...

    永济云计算培训 首页 > 计算机 > 永济云计算培训 作者:镀金池   发布时间:2019-11-15 贴一下自界说的BookAdapter,删除增加item的方式也写在了外面.议决状况代 ...

  9. python实战(一)Python爬取猫眼评分排行前100电影及简单数据分析可视化python实战(一)Python爬取猫眼排行前一百电影及简单数据分析可视化

    python实战(一)Python爬取猫眼排行前一百电影及简单数据分析可视化 一.抓取数据 需要的库 request库 响应http请求 json库 将文本保存成json形式 pyquery 类似JQ ...

最新文章

  1. Mysqldump参数大全(参数来源于mysql5.5.19源码)
  2. 11月24日struts培训日记
  3. 不同配置决定不同的复制的流程
  4. mysql zip 还原_mysql 压缩还原数据库
  5. 10.5 0819吉米牛逼
  6. java为什么需要枚举_java – 什么是枚举,为什么它们有用?
  7. 哈佛大学单细胞课程|笔记汇总 (五)
  8. java 线程管理框架_实现 Java 多线程并发控制框架
  9. GitHub上下载源代码的方法
  10. paip.快捷方式分组管理最佳实践ObjectDock
  11. 视频截图 使用ffmpeg_mencoder
  12. 图片转文字,实用的图片文字识别工具
  13. python屏蔽警告
  14. 2021-02-17:规定1和A对应、2和B对应、3和C对应...26和Z对应,那么一个数字字符串比如“111”就可以转化为:“AAA“、“KA“和“AK“。给定一个只有数字字符组成的字符串str,请
  15. 20175212童皓桢 实验三敏捷开发与XP实践实验报告
  16. android 读取手机存储数据恢复,Android手机数据恢复
  17. 三维目标检测算法汇总学习笔记
  18. eclipse不能运行java程序吗_eclipse打开不能运行Java程序怎么回事啊?
  19. 哈理工OJ 1304 13哥的机器人(思维题)
  20. matlab能做什么设计,MATLAB中GUI设计领悟

热门文章

  1. linux模拟树莓派,树莓派使用入门:树莓派上的模拟器和原生 Linux 游戏
  2. mysql 苏勇,你不知道的Linux使用技巧~
  3. html给radio添加图片,使用纯CSS自定义radio(单选框)和checkbox(多选框)的样式
  4. android 模拟器配置上网_10 款主机模拟器,让你畅玩全球大作,嗨到飞起
  5. linux命令 — lsof 查看进程打开那些文件 或者 查看文件给那个进程使用
  6. tensorBoard 初级实现
  7. Skelta BPM.NET 2006 初探
  8. 打开eclipse出现an error has occurred.see the loh file
  9. TinyXML2 的使用
  10. 【01】网页中清除历史浏览记录能不能彻底删除浏览记录?