放在前面

因为公司的需要吧,再加上本人对处理数据比较热爱,公司吧这个项目交了下来(其实只有一个pdf -_-||) ,也是没办法啦这种公司内部消化的系统本就是靠产品的迭代前进的.

技术选型

项目初期的目的比较简单,而且还算明确,就是将公司现有的数据进行收集,之后展示出来.只要能完成老大并不关心你是用什么技术(这就开心了),技术方面,

所使用的技术

数据存储占时使用elasticsearch,将来基本的数据存储可能会用到hbase
数据收集方面前期主要是对公司内部的数据进行采集,所以主要是从库中自己去查多以不做过多考虑
数据实时的同步方面使用的比较乱,rabbitMq(暂时)+logstash+canal
前台使用的时vue.js的elm组件和手拉手(不懂前台那些东西)

目前的进度

随便拉了点数据,做了个注册统计,老大感觉效果还是可以的(项目应该黄不了(^▽^))

目前的难点

现在,需要进行埋点信息采集,目前我解决的方案就是,使用拦截器对接口调用成功的方法进行拦截,之后将需要的信息发送到mq中

3月24号总结下吧

新开一篇

Galaxy数据统计平台(一)相关推荐

Galaxy数据统计平台(三)
4月19号到了现在说下开发进度吧~~ 系统设计简单说一说由于与需要接受的数据原比较多,再加上服务是部署在阿里云上的,所有的数据均是通过http接收目前数据接收后直接存储到elasticsear ...
Galaxy数据统计平台(二)
3月24号时至今日,先说一下项目的开发进度吧数据同步敏感字眼辣眼睛数据用户订单数据用户秒杀数据 check接口埋点(检测用户活跃度) 敏感字眼辣眼睛用户行为数据 app用户行为数据(进行中) ...
京东手机电商大数据统计平台搭建
京东手机电商大数据统计平台搭建一.虚拟机搭建 1.下载虚拟机 2.解压虚拟机 3.VMware扫描添加虚拟机 4.虚拟机网络说明 5.虚拟机已安装软件和框架说明二.核心代码三.数据展示环境搭建 ...
移动开发必知必会的六大数据统计平台（入门篇）
数据统计对于各位移动开发的童鞋并不陌生,小到Bug统计,大到数据分析,一款性能稳定.用户体验良好的APP一定离不开数据统计的支持,为此我将给大家科普一下常用的六大数据统计平台. 先说说国内的三家,从友 ...
移动数据统计平台分析
数据统计对于各位移动开发的童鞋并不陌生,小到Bug统计,大到数据分析,一款性能稳定.用户体验良好的APP一定离不开数据统计的支持,为此我将给大家科普一下常用的六大数据统计平台. 统计平台列表表,外加体 ...
【nodejs】数据统计平台碰到的坑
记录使用nodejs实现数据统计平台碰到的一些坑: String + Array 在调试的时候需要打印一些log进行分析,打印long的源码为: 控制台输出的结果为: 以为是字符串的原因,将searc ...
数据统计平台设计与实现
1.背景与需求如果想把控一个新生态的发展状态,那么我们迫切需要一个该生态相关的数据统计平台;该平台将从不同的维度去分析这个生态,引入很多不同的指标以及图表,通过这些指标以及指标的展示图来描绘生态的 ...
小米新一代大数据统计平台大公开
首次来到台北的小米研发架构师欧阳辰,看见城市中川流不息的摩托车车流,引起了他的注意:「它的特色很像大数据」,除了数量多.变化快,以及难以预测动向,摩托车也和大数据一般,都是解决人类生活在社会中的一项工 ...
移动应用数据统计平台(之一)
本文由雷锋网整理自 ZDnet,内容有改动,仅供各位热衷于移动应用开发推广运营的朋友参考. 目前市面上比较常见,使用比较多的移动应用统计平台大概有3.4家,国外比较流行的是Flurry,功能上非常全面 ...

Galaxy数据统计平台(一)