大概一年多以前,和几个小伙伴均认同一个趋势:觉得通过技术手段获取网上越来越丰富的数据,并基于这些数据做分析及可视化,必能产生有价值的结果,帮助大家改善生活。(大数据被叫烂了,所以用低调的方式来解释我们的初心)

第一步:开工,为基金服务

恰巧和几个基金的朋友(包括对冲基金和VC/PE基金)聊到这个趋势,他们非常认同这个观点并愿意付费,认为可以用这种实时且定量的方式来跟踪一些上市公司或者私有公司旗下的产品,来确定谁是有价值的投资目标。于是立马获得订单并促使我们开干,因为考虑到Python灵活及各类爬虫库的优势,最终选用Python来做数据获取的主体架构;也有新潮的小伙伴使用Go,同时用Go搭建了一个很酷的框架来制造分布式的智能爬虫,应对各种反爬策略。抓取数据主要来自于如下网站:

各应用商店:获取App的下载量及评论

大众点评及美团网:餐饮及各类线下门店消费及评价情况

汽车之家及易车:汽车的相关数据

58及搜房;房屋租售数据

新浪微博:用户的各种发言及舆论

财经数据:雪球及各类财经网站

宏观数据网站:天气、12306火车、机票网站

最初的产品纯粹是为基金服务。下图是在各个维度找出最有价值的App,各种量级范围内在30天/7天增长最快及评价最好榜单。(顺便吹一下牛,我们这个榜单很早就发现小红书App的快速增长趋势以及在年轻人中的极佳口碑)

下图是对某个App的下载量跟踪,帮着基金做尽职调查。

下图是某上市公司的门店变化情况,帮着基金跟踪TA的增长情况。

下图是国内各个机场的实时流量,帮着基金跟踪国内出行的实时情况,或许能从一个侧面反映经济是否正在走入下行通道。

第二步:扩展思路,开源和分享

为基金服务,虽然给钱爽快,但是也让方向越走越窄。首先,基金希望信息是独享的和封闭的,投资就是投资人之间的零和博弈,公开的信息就迅速会一钱不值,基金最在乎的就是信息的独享及提前量,所以各个基金都希望我们呈现的数据及分析结果能够独家。这样迅速让我们的方向收窄以及工作的趣味性降低,其次,毕竟对于基金而言,能分析的投资对象及方向是非常有限的。而且现阶段,大部分对冲基金里面的分析员的数据分析能力其实很弱:这些分析员里面能用VBA或者能在Excel里面使用矩阵及向量乘法的人几乎可以惊为天人;能写offset函数的人,就应该直接提拔了;大部分人停留在一个个数网页找数据的阶段。所以和他们起来十分费劲,除了提供一些粗暴的数据,并不能产生太有价值的结果。

还共享了一些和青年生活最相关的分析及数据。下图是深圳市早晨高峰时段某类人群出行的热点图,通过热点分析,试图找出这类人群的居住和上班的聚集区。

下图反映了在各时间段在深圳科技园附近下车的人群密度。

写这些报告,团队没有挣到一分钱,但是整个成就感和满意度大大上升。同时,在Python及各种技术上的积累也提高颇多,数据量级的积累也越发丰富,数据相关的各项技术也在不断加强。同时,顺势扩大了数据源:京东、淘宝等数据也纳入囊中。

第三步:扩展客户

在知乎上写这些报告,除了收获知名度,还收获意外之喜,一些知名品牌的消费品公司、汽车公司及互联网公司,主动找我们做一些数据抓取及分析。整个团队没有一个BD,也从来不请客户吃饭。

于是我们顺势做了如下的网站以及一个成熟的Dashboard框架(开发数据监控的Dashboard超有效率),目前主要监控和分析母婴、白酒、汽车及房地产四大行业,都是一些愿意花钱进行深度了解用户以及行业趋势的公司。收入自动上门,很开心!

下图是抓取汽车之家的数据,做出BBA(奔驰宝马奥迪)这三大豪华品牌的交叉关注度,帮助品牌及4A公司了解他们用户的忠诚度以及品牌之间迁移的难度。

下图是抓取新浪微博的数据,分析广东白酒的消费场所

下图是抓取新浪微博的数据,分析广东白酒和各类食品的相关度。

【编辑推荐】

【责任编辑:未丽燕 TEL:(010)68476606】

点赞 0

python能做什么工作-Python学完工作不好找?看看数据分析可视化都可以做什么相关推荐

  1. python可以干什么工作-Python学完工作不好找?看看数据分析可视化都可以做什么...

    大概一年多以前,和几个小伙伴均认同一个趋势:觉得通过技术手段获取网上越来越丰富的数据,并基于这些数据做分析及可视化,必能产生有价值的结果,帮助大家改善生活.(大数据被叫烂了,所以用低调的方式来解释我们 ...

  2. Python学完工作不好找?看看数据分析可视化都可以做什么

    大概一年多以前,和几个小伙伴均认同一个趋势:觉得通过技术手段获取网上越来越丰富的数据,并基于这些数据做分析及可视化,必能产生有价值的结果,帮助大家改善生活.(大数据被叫烂了,所以用低调的方式来解释我们 ...

  3. 会python编程可以做什么工作_学Python编程到底能做什么工作?

    学Python编程能做什么工作?随着人工智能发展,学习python语言的人员有更多的岗位机会,python从事的职业广泛,从游戏到AI人工智能能都可以用Python实现.除了编程,各种岗位的人都应该学 ...

  4. python使用TSNE为影像组学(radiomics)数据进行降维可视化分析

    python使用TSNE为影像组学(radiomics)数据进行降维可视化分析 目录 python使用TSNE为影像组学(radiomics)数据进行降维可视化分析

  5. python编程可以做什么工作-Python学到什么程度才可以去找工作?掌握这4点足够了!...

    微信搜索:CoXie带你学编程,后台回复你想要的资源,并留下你的微信号,将于3个工作日内会回复或添加微信进行回复 大家在学习Python的时候,有人会问"Python要学到什么程度才能出去找 ...

  6. 学python可以从事什么工作,python是做什么的软件

    python主要用来干嘛 Python适合财务.设计.运营.策划.销售.HR.金融从业者.电商从业者学习,所设计的行业五花八门. 从以上也能看出来,python是很强大的一门语言,可以做:1.系统编程 ...

  7. python可以做什么工作好-学完Python我们可以做什么工作?

    Python是人工智能首选语言,相信对Python有一定了解的朋友们都知道这个问题,但是在人工智能还没有真正实现的现在,学习Python编程语言我们可以做哪些工作呢?现在学习Python好就业吗? P ...

  8. python可以做什么工作好-学Python能找到什么工作?这4种工作最热门!

    身边有不少朋友最近都开始学习python,大多都在学了一两个月之后便会开始纠结,现在已经入行了,能去找什么样的工作呢? 入行和找工作不一样啊.这里就有方法了,那就是先了解这几个热门的岗位需要掌握哪些技 ...

  9. python初学者怎么找工作_学python找工作好找吗

    学完python,可以从事的工作有自动化测试.数据分析.网络运维.网站开发.python语言在学术上非常受欢迎,很多不是计算机专业的人,都在学习python. python的就业方向 1.网络爬虫 p ...

最新文章

  1. LinearAlgebra_1
  2. 求方差时为什么要除以N—1,而不是除以N!【通俗理解-非数学专业】
  3. 三位整数两位小数掩码_小数点造句_造句大全
  4. MySQL5.6主从复制搭建基于日志(binlog)
  5. DM365 u-boot 启动分析
  6. spring对事务的控制 AOP
  7. Nginx安装及配置反向代理
  8. requests库学习
  9. 特征提取与检测(一)---Harris与Shi-Tomasi角点检测原理
  10. 使用windows 命令行创建一个空的文本文件
  11. python numpy array最大长度_python中找出numpy array数组的最值及其索引方法
  12. 三菱plc软件测试程序com端口,三菱plc编程软件com端口不能保存
  13. 蓝桥杯 C语言 试题 算法训练 审美课
  14. UE4 蓝图 循环调用
  15. mysql英雄联盟卡_MySQL学习之路:爬取英雄联盟数据后续使用
  16. 微信小程序实现替换logo功能
  17. 推荐 :数据可视化与信息可视化浅谈
  18. 旁观面经-02-开发岗总结版
  19. PHP 发送电子邮件
  20. 哪些场景N1 mode是disable状态

热门文章

  1. TensorFlow精进之路(四):CIFAR-10图像识别(上)
  2. 消息队列(MQ):ZeroMQ基本原理
  3. 最小二乘法详解(线性拟合与非线性拟合)
  4. 【数据结构】思维导图补充知识
  5. Visual Studio 代码提示选不中
  6. 关于conda-新手必读
  7. pycharm 文件修改的星号(*)提示||文件是否修改过
  8. 二叉树的概念和基本术语
  9. Guava Cache 使用笔记
  10. [原]最大流, 最小分割分析