大数据平台在互联网行业的应用
本文是58同城信息系统部高级经理余中洋对大数据在互联网行业应用的总结。以实际经验讲解了大数据从雏形到发展，以及发展过程中传统数据仓库到大数据平台的转化和大数据的可视化应用。
大数据显雏形——发展
所有公司在一开始时，数据的建设都是比较落后的，但随着互联网的环境推动，以及公司计划2013年在纽约交易所上市，这时候面临一个很大的问题。在上市之前，公司的数据，无论是流量数据还是财务产品数据都需要经过非常严格的审计。为此，我们开始整理数据，做数据报表，花费一年多的时间做数据整理、数据规范，慢慢的大数据的平台有了雏形。
后来公司上市之后，数据运营的重点从反映过去和现在的状况转变成指导业务、管理业绩、支持销售。
2015年到2016年这两年，公司将目标投入到数据智能上，建立了一个非常大的系统平台，并且让整个销售和产品运营体系全面实施数据化运营。在这个平台上，我们不仅仅要进行管理销售，还要构建销售能力模型，预测未来业绩。因为在美国市场的股价，更多的是依赖公司未来的发展，公司未来预期决定了公司现在的股价，因此总共的业绩预测非常重要，能够非常精确的预测销售更加重要。
大数据平台建设
公司拥有很多的业务数据库，有订单、CRM、合同管理、人力资源等数据库。以往，我们会把这些数据库里的数据做集成，做一个简单的数据仓库，然后根据业务需求，在数据集成的基础上，通过帆软报表建立一个决策系统，做数据展示，提供服务。这个过程的好处是开发成本低，投入成本低，技术架构简单，可以非常快速的在公司内部运行起来。
但是这样的方式随着业务系统的增多，逐渐开始不适用。一是业务数据多样化、数据未集中管理、有效利用数据难度大；数据存储能力受限，无法追溯较远的历史数据。二是很多情况下，不同的产品经理和工程师所提的需求是不同的，而且这些不同的需求本身是交织在一起的。因此不同的团队做出同样的指标，由于数据指标定义不一致，存在意义相近重复指标的时候，管理层很难做出决策。三是分析和运营使用的数据渠道完全依赖于自身数据的监控，这会导致IT部门工作压力较大。
除了以上反映的问题，公司在基于未来发展情况下又呈现了新一轮的现状，并提出了以下需求：
- 业务的多元化发展，公司大量的并购导致集团数据量和数据需求爆发式增长；
- 数据网状流通，基础数据、数据指标缺少统一的元数据管理；
- 为了更好发掘数据价值，提升数据能力、构建标准化数据体系成为当务之急。
大数据平台业务架构
集团的业务架构大体可以分为几块内容。第一个是数据模型师。主要的工作是做好元数据管理，数据模型的开发以及建立统一的数据标准。第二个是数据开发员，它会对接产品，然后去做一些业务开发。第三个是业务人员，业务人员是运营、销售、市场人员，在这个地方做了很多可视化来帮助他们做出决策。最后是公司的数据分析部门，他们有很多对于审计包括公司一些非常核心的数据的分析需求，他们会通过独立的数据查询系统实现数据多维度分析。
下图是技术架构，在底层进行数据存储，抓取数据，并将存储层的数据传给处理层，在处理层完成业务计算，形成指标。然后前端通过帆软报表的应用，将数据以业务报表的方式进行图形化展示，并在移动报表APP上进行展示。
除去这个，我们还在管理上做了数据中心的建设规范。然后是数据质量管理，包括确保数据的准确性，为保证数据的及时性还建立了一个运行和管理规范。这四块结合起来以保证平台的平稳运行。
大数据可视化
数据可视化是这个平台最后的一步也是应用范围最广的一步。这方面，由于我们
1、需求来源多：团队需要同时对接财务部、销售中心、客服中心、管理层等各级部门，且各个部门关注的指标千差万别。
2、报表可视化方式多：需要通过明细表、汇总表、钻取表以及各类图表来分别满足各个部门的不同管理职级的需求，还要给给需求方提供离线报表、实时报表、邮件&短信推送数据等多种渠道。
3、自定义开发多：为了对接公司内部的业务系统，需要经常自定义开发。
所以，需要一个满足这些需求的可视化报表开发工具。这一块，无论从最初的传统数据仓库方式还是现在的大数据平台，我们都选择了帆软报表。
优势如下：
- 类EXCEL设计风格：操作界面大大降低了学习成本。
- 多数据源支持：接入个各个部门的各个类型的数据库非常方便。
- 优秀的图标展示：HTML5图表技术，支持多种图表类型、样式、风格，参数传递灵活，交互效果丰富。
- 友好的接口：开发人员使用网页脚本、API接口等进行深入的开发与控制，支持插件开发、安装、使用和管理，以满足其个性化的需求。
可视化展示：
大数据平台在互联网行业的应用相关推荐
- 基于大数据平台的互联网数据采集平台架构介绍
互联网的飞速发展将社会带入数据高度发达且公开的信息时代,数据对于企业经营.政府决策及社会动态分析等具有极其重要的作用,而如何大规模.快速采集数据成为技术焦点. 网络爬虫是按照一定规则自动游走爬取互联网 ...
- 智慧城市大数据平台信息化建设及行业智慧应用综合解决方案
[版权声明]本资料来源网络,知识分享,仅供个人学习,请勿商用. [侵删致歉]如有侵权请联系小编,将在收到信息后第一时间删除! 完整资料领取见文末,部分资料内容: 智慧城市核心技术 2.1.1 物联网 ...
- 大数据平台的整体架构由哪些组成
大数据平台将互联网使用和大数据产品整合起来,将实时数据和离线数据打通,使数据能够实现更大规模的相关核算,挖掘出数据更大的价值,然后实现数据驱动事务.那么,大数据平台的整体架构由哪些组成呢? 一.事务使 ...
- 大数据平台架构包括哪些方面
大数据平台将互联网使用和大数据产品整合起来,将实时数据和离线数据打通,使数据能够实现更大规模的相关核算,挖掘出数据更大的价值,然后实现数据驱动事务,那么大数据平台架构如何进行?包括哪些方面呢? 1.事 ...
- 有创业团队想打造不一样的大数据平台
寻找看好项目前景的合作投资者 移动互联网时代,你任何一次的点赞.转发.浏览.支付行为,都在产生数据.也许在两三年以前,你跟人提"大数据",对方会觉得你不知所云:而现实是," ...
- 九次方企业征信大数据平台上线，欲打造征信业阿里巴巴
阿里巴巴的伟大在于其用互联网改变了中国商品交易规则,今天九次方在利用大数据改变中国金融产品的交易规则. 九次方大数据执行总裁王叁寿的梦想就是通过大数据.互联网改变中国金融产品的交易规则,让天下的金融交 ...
- 内蒙农信携手星环科技建设农信大数据平台，激活金融业务创新
背景 内蒙古自治区农村信用社联合社(简称"内蒙农信")经过多年的信息化建设,目前投产使用的信息化系统近100套,产生了大量的数据.该社于2019年采用MPP架构的分布式数据库,实现 ...
- 集成平台、大数据平台、数据治理平台，医院信息科应该怎么选？
文章来源:森亿AI医疗 近几年,医院的信息化建设速度不断加快,已基本实现了业务的数据化.院内的信息化系统越来越多,其中积累了海量的医疗数据.要真正发挥这些数据的价值,需对其进行采集汇聚.治理.计算和挖 ...
- 我所经历的大数据平台发展史（三）：互联网时代 • 上篇
编者按:本文是松子(李博源)的大数据平台发展史系列文章的第二篇(共四篇),本系列以独特的视角,比较了非互联网和互联网两个时代以及传统与非传统两个行业.是对数据平台发展的一个回忆,对非互联网.互联网,从 ...
最新文章
- apache解析php的方法
- 【theano-windows】学习笔记八——预备知识
- Python中参数函数内部赋值与使用+=的变量
- mybatis自动生成mapping和实体
- 深度学习之TensorFlow
- Apache/Nginx+PHP+MySQL一键环境安装包
- Mock Server介绍
- 利用root权限随意对app进行保资料降级 99%成功
- C#使用FFmpeg实现视频压缩优化的探索
- python猜字游戏
- Vue的一些知识汇总---希望对你有用
- 开源OceanBase如何与Prometheus与Grafana监控结合
- 试玩广告及SmartAd平台介绍
- Java找出游戏的获胜者leetcode_1823
- E1,CE1,T1,PRI,BRI的区别以及接口
- Lammps实现水分子在纳米颗粒球表面的吸附行为
- python阴阳鱼绘制（使用turtle）
- 梅科尔工作室——Django+HarmonyOS实现用户登录
- 华为在线编程系列-字符串分割
- 群晖NAS——Docker安装minio