大数据是风口，但是该怎么规划架构？一般人都没注意到

分析需求

1. 挖掘真实需求

俗话说，良好的开始是成功的一半。很多大数据产品之所以失败，归根到底就是出发点不对，没有找准真需求，无法推动解决实际问题。流于表面的数据产品，是对时间和人力资源的浪费。

那么，如何对问题进行分析，挖掘真实需求呢？

从模糊的需求中挖掘本质，找出真需求，就是需求分析的内容了。

需求分析的第一步是对客户基本资料和现状的解读，从现状出发了解客户对现状的不满和遇到的困难。除了培养同理心之外，这里提供两种简单有效的方法，第一个是花些时间收集客户内部需求干系人对现状的吐槽，找出其中的共性和最不满的点；第二个是询问客户对现有的各类解决方案的点评和意见，了解其关注点。

“诊”完了客户的现状，下一步就是配”药”了。人们常犯的第一个错误就是功能堆砌，什么都有什么都能做。第二个错误就是抄袭复刻，把别人的解决方案原封不动照搬过来，没有特点。第三个错误是为了让产品显得高端而强行捆绑一些不成熟的前沿技术，没有考虑实用性和性价比。

在大数据项目中，原子级能力的强弱大同小异，解决方案的好坏关键在于场景渗透能力、技术整合能力和可持续升级能力。所谓”对症下药”，就是要以点带面，在客户最关注的一点上做深做透，细节上考虑得更多，在完成度上更上一层楼。

2. 减法思维，以点带面

前面提到了我们应该在核心功能上做深做透，用到的是便是减法思维。

减法思维是指合理地减少一些不必要、与现状不匹配的事情来提高效率的一种思维。从概念可以看出来，减法思维的的关键点在于减少不必要、与现状不匹配的事情来实现高效，也就是说，如果你要做减法，你需要先识别出哪些事情是不必要并与现状不匹配的，并能在减掉这些事情之后能够提高效率。

数据盘点

1. 准备数据需求

传统IT行业的需求点多是固定的业务逻辑，但大数据产品则更多的依赖数据，它的价值上限取决于数据自身的价值上限，正如那句经典的名言，”garbage in garbage out”。正因为如此，设计大数据产品需要尽早准备数据需求。

数据需求文档DRD（Data Raquirements Document）顾名思义同PRD一样，是同研发团队沟通的一种凭据。主要包括了三部分：Source（来源）、Measures（指标）、Dimensions（维度）。

来源：就是指数据从何而来。来自哪个系统？使用何种数据接口？数据更新频率如何？

指标：顾名思义，讲指标的定义和计算逻辑。

维度：是用户用于查看指标的数据元素。描述了数据需要以何种力度被组织起来。

从产物角度看，DRD需要产出的有数据流图和数据字典，两者相辅相成。没有数据字典准确地描述数据流图中使用的数据，数据流图就不严格。反之，没有数据流图，数据字典也难于发挥作用。

数据流：是由一组固定成分的数据组成，表示数据的流向。值得注意的是，数据流图中描述的是数据流，而不是控制流。除了流向数据存储或从数据存储流出的数据不必命名外，每个数据流必须要有一个合适的名字，以反映该数据流的含义。

数据存储：数据存储表示暂时存储的数据。每个数据存储都有一个名字。

【拓展】数据字典

任何字典最重要的用途都是供人查询对不了解的条目的解释，在结构化分析中，数据字典的作用是给数据流图上每个成分加以定义和说明。换句话说，数据流图上所有的成分的定义和解释的文字集合就是数据字典。

2. 收集数据

收集数据主要可以分为外部数据和内部数据两类。

内部数据是由组织内部的业务流程和运营过程中生成的数据。这些业务流程可以生成特定于该组织运营的大量数据，例如客户购买数据、商品物流数据、评价数据等。除了显式反馈数据的收集外，互联网行业的一大特色是拥有大量的隐式反馈数据，例如通过埋点形式收集用户的行为数据。

除了内部数据之外，我们还会接触到很多外部数据，外部数据就是是在组织运营范围之外生成的数据。外部数据一般是企业所处的外部环境相关的数据，包括诸如全球经济指数，人口普查信息和行业价格之类的信息等等。所有这些数据均一直存在，与任何特定组织无关。

一般而言，价值创收目前主要都来自于对内部数据的挖掘，但外部数据的价值也不容小觑。假如一家创业公司刚刚起步，自身并没有还积累数据，怎么办？就算有数据，但拥有的数据无论在“质”和“量”上都很差，怎么办？或者说，从内部数据上发现了某指标的变动，但对于其真实动因无法准确判定，怎么办？这时候就需要外部数据的帮助了。

想要获取外部数据，除了前面提到的可以从公开的数据网站上查询外，另一大方法就是爬虫。这种方法更加灵活，但是需要注意法律风险。

数据源管理

1. 数据源分类

完成数据盘点后，我们知道了现在有哪些数据，接下来就是给它们划分业务领域，也就是类别。

对于小规模的业务来说，数据源归类的作用并不明显，但是当数据表多达几百上千个，而且功能有重叠冗余、有新有旧的时候，数据源归类就相当重要了。

业务领域囊括的范围可大可小，完全依托于前期基于业务的梳理结果。

值得一提的是，数据（中台）全景图是一个执行数据归类的很好的工具，便于数据查找。

2. 数据源分级

不同于数据分类，数据源分级更多的是从满足监管要求的角度出发。数据分级属于数据安全领域，或许称呼它为敏感等级更为贴切。有的数据密集程度高，有的低，有的可公开，有的不可公开，不同敏感度等级的数据对外共享开放的程度不同。

数据资产管理与数据资产管理平台

1. 数据资产与数据资产管理

2. 数据资产管理平台的作用和价值

数据资产管理平台是对企业数据盘点、数据管控等能力的承载和表现，它可以对全网数据资产进行统计、对数据权限进行细粒度的梳理、对数据使用状况进行分析，大大降低管理人员工作量，同时为数据安全制度的建设提供依据。

3. 数据资产管理平台的主要功能

大数据是风口，但是该怎么规划架构？一般人都没注意到相关推荐

《大数据》第1期“动态”——站在大数据的风口上
站在大数据的风口上 Momentum of Big Data 每个人都渴望成功,而通向成功道路最重要的一条就是创新创业,创新创业的源泉是新的思想.最近,由中信出版集团出版.大数据战略重点实验室推出的一 ...
大数据平台搭建及集群规划
CDH大数据平台搭建之集群规划_码上_成功的博客-CSDN博客_cdh集群规划大数据Hadoop分布式集群部署(详细版)_arnoldmp的博客-CSDN博客_分布式集群部署大数据平台的硬件规划. ...
CDH大数据平台搭建之集群规划
CDH大数据平台搭建之集群规划前言一.集群规模二.集群规划总结前言话说无规矩不成方圆,搭建CDH大数据平台之前需要的工作很多,首先,你需要计算公司每日的数据量,来确定需要多少服务器,确定好 ...
海致大数据京信_海致BDP胡嵩：大数据在怎样的时代卖给怎样的人
安全问题其实多数时候是企业用来拒绝你的一个借口,而不是真正的理由.那些企业不是对安全的需求太高,而是对数据分析的需求太低.原文链接:海致BDP胡嵩:大数据在怎样的时代卖给怎样的人胡嵩:2004 年- ...
5怎么用修改器_经常用电脑辐射大怎么办？这5个习惯防辐射，很多人都知道
经常用电脑辐射大怎么办?这5个习惯防辐射,很多人都知道在信息时代,没有电脑.手机,人们就无法工作,生活也非常不方便:特别是电商新经济时代的来临.这些原本的生活附属品,似乎已经成为了必须品.可是这些电 ...
“京津冀大数据走廊”聚集效应初显有待规划引领
近年来,得益于京津冀协同发展和区位.成本.政策等优势,毗邻京津的河北廊坊.张家口.承德大力发展大数据.云计算产业,呈现出重大项目加速聚集.配套服务不断优化的良好态势.一些业内人士表示,"京津 ...
大数据部门各个职位的职业生涯规划和发展路径
从职业发展路径来看,一般可以分两个路线来走,一个是专业技术路线,也叫T序列,另一个是管理路线,也叫M序列,每个序列都分很多级别.T序列一般职位从低到高是工程师.资深工程师.架构师/专家.高级架构师/高 ...
百分点大数据技术团队：解读ToB产品架构设计的挑战及应对方案
编者按:随着企业及政府数字化转型升级,越来越多的科技公司开始进入ToB行业.ToB产品因为其独特的性质,与传统ToC互联网应用架构的设计有着很多不同.百分点科技深耕ToB.ToG行业多年,沉淀出了一系 ...
2021年大数据ELK（十一）：Elasticsearch架构原理
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Elasticsearch架构原理一.Elasticsearch的节点类型 ...

大数据是风口，但是该怎么规划架构？一般人都没注意到

大数据是风口，但是该怎么规划架构？一般人都没注意到相关推荐

最新文章

热门文章