大数据平台有哪些基础服务

　　在做数据产品时，我们一般为了快速的支撑业务，会快速的搭建一个核心产品，支撑业务方的使用。而随着业务的发展，我们会发现，一个产品模块已经不能满足业务方的需求了，脚本的管理，离线任务的管理，实时的消息队列，各种图形化的报表。他们是不同的对象，分别形成了不同的产品。而架构师们在看到这种情况后，一定会对公共的服务进行抽取和整合。所以，一个成熟的平台，公共的基础服务是共用的。

　　虽然这样说，但抽取的过程，一定伴随着功能的重构，原来业务的发展有多快，重构的难度就有多大。因为在业务高速发展时，大概率的情况是研发并没有时间进行公共模块的建设，而是涌在业务方的各种需求里。但抽取这件事，越早做对平台越好，这样新的需求和模块，就可以依托于搭建好的公共服务，这会大幅度减轻研发者的工作量，还避免了以后填坑的烦恼。

　　说了这么多，我们大数据平台的基础服务都有哪些呢，总结起来包括：数据源、权限服务、流程服务、监控服务、字典服务、埋点服务、标签服务、公告服务、文档服务。

　　1.数据源

　　数据源这个词其实比较专业，没有接触过大数据的同学可能不了解是什么，其实这就是数据库链接信息的统一管理模块。一个成熟的大数据平台当然是有能力链接多个数据库，为用户提供工具服务的，而如果报表平台，调度平台等分别建设数据源管理，重复建设不说，将来数据库进行调整时，各个模块需要分别修改配置，调整的影响评估工作量会增加，所以大数据平台需要一个统一的数据源服务，专门管理数据库链接的信息。各功能模块连接数据库均通过它来实现。

　　2.权限服务

　　这个大家应该都非常好理解了，账号的统一的强大之处，我们在腾讯这家公司身上就可以看到。平台完全可以采用RBAC模型，以用户、资源、角色、资源组为实体进行管理。模型已经是行业非常成熟和普遍，这里不在赘述。

　　3.流程服务

　　其实流程服务不一定是必须的，这并不是一个平台级的服务，而是一个公司级的服务，一个公司其实有一套流程平台就足够了，因为任何的工作形态都离不开流程审批，而流程的主体可分为流程流转、流程表单、审批角色这三部分，定义好这三项，就可以定义好一个流程。

　　4.监控服务

　　作为数据平台，监控的重要程度不言而喻，当报送给老板的统计指标值异常时，你可能还没有到公司，电话就被打爆了，所以及时的发现数据处理过程的异常非常关键，而且使用场景也非常多，任务的失败和延迟需要监控，内存和存储需要监控，数据的质量也需要监控，所以把监控抽取为公共服务是非常合理的。

　　5.字典服务

　　我们在做各种表单时，经常会用到下拉选择这一方式，当然有些下拉时关联到某一个实体上，比如用户，队列，账号；但还有一部分是固定的枚举，这就是字典，我历经4家公司，只有一家濒临倒闭的传统公司没有对系统的字典进行抽取统一管理，而其他三家都进行了这项工作。字典统一并以服务的形式对外赋能，开发新表单时不需要在进行繁琐的页面开发，而是一个配置服务搞定。

　　6.埋点服务

　　这又是一个公司级的服务，互联网公司做埋点是在正常不过的事情，当然也不排除有些To B的内部系统产品不埋点，而大一点的互联网公司都会将埋点作为公共服务，因为这是非常常用的功能，如果每次埋点，都需要把数据采集入库这一套流程做一遍，那就太费事了，所以一般埋点平台都会提供SDK以及JS代码，这样研发只需要将SDK集成或JS代码写在页面和按钮里，就可以了。

　　7.标签服务

　　当然，这并不是一个必须产品，因为有的平台根本不使用标签管理对象，但如果有，建议抽取为公共服务。标签管理任务，报表，脚本都可以使用标签管理，用户自定义非常的便捷，如果你的功能还是依靠树形的结构菜单管理，不妨变更下思路，提供标签服务，让用户自己管理自己的东西。

　　8.公告服务

　　平台做大以后，发送公告是家常便饭了，所以有了公告服务，系统建设时就不需要为这件事操心了，统一的发布，统一的提示方式，使得平台看起来更加的统一。

　　9.文档服务

　　因为产品也在不断的升级，大数据产品作为一个To研发的产品，使用门槛必然会非常高，所以能否给予详细的文档说明是衡量这个平台是否优秀的一个标准，虽然大家的愿景是易用到不需要文档，但是这是最终的理想，在达成之前，文档还是很重要的，建立自己的文档中心有助于对产品的沉淀，而且可以减轻系统客服咨询工作的压力，是平台成熟时的必然产物。

　　通过分析也可以看到，大数据的问题的研究，必然是以商业利益为驱动，一些大的依靠数据牟利的大公司必然会是大数据应用的主体，大数据一定会成为重点研究领域。

大数据平台有哪些基础服务相关推荐

大数据平台的防火墙、服务网关Knox
这里写自定义目录标题大数据平台的防火墙.服务网关Knox 边界安全/防火墙 Knox网关部署架构 Ranger授权和控制使用Knox进行认证 Common Security Architectur ...
青海初步建立旅游大数据平台:让智慧做服务
记者从青海省旅游委获悉,青海省级旅游指挥中心和大数据平台,包括一系统.两中心.三平台,即:大数据分析系统,旅游云数据和应急指挥中心,市场监管和公共服务平台建成上线. 青海省旅发委邀请青海省联通公司信息 ...
中国邮政大数据平台建设之总体架构与实现
摘要:通过对数据处理阶段性发展的解析,分析大数据.人工智能技术的发展趋势.结合实际生产需求,验证了基于容器云架构的新一代大数据与人工智能平台在数据分析.处理.挖掘等方面的强大优势. 关键词:大数据人 ...
从0到1，云服务助力全民直播快速构建大数据平台
随着业务的快速发展,全民直播如何应对来自技术与运营方面的挑战?6月7日,在上海世博中心,2018云栖大会·上海峰会阿里云支持与服务专场上,全民直播大数据架构师朱益发表主题演讲,详细介绍了从0到1,云服 ...
数据平台、大数据平台、数据中台……傻傻分不清？这次终于有人讲明白了！
来源 | 智领云科技造概念,在IT行业可不是一件陌生的事儿,中文博大精深,新名词.新概念往往简单准确,既可以被大众接受,又可以被专家把玩,真正做到雅俗共赏.各有趣味.近年来,数据中台之火爆,什么数据 ...
数据平台、大数据平台、数据中台……还分的清不？
造概念,在IT行业可不是一件陌生的事儿,中文博大精深,新名词.新概念往往简单准确,既可以被大众接受,又可以被专家把玩,真正做到雅俗共赏.各有趣味.近年来,数据中台之火爆,什么数据平台.数据中台.数据湖 ...
大数据平台搭建_一文读懂数据平台、大数据平台、数据中台
作者 | June 来源 | 智领云科技(ID:LinkTimeCloud) 造概念,在 IT 行业可不是一件陌生的事儿,中文博大精深,新名词.新概念往往简单准确,既可以被大众接受,又可以被专家把玩, ...
一文读懂数据平台、大数据平台、数据中台
作者 | June 来源 | 智领云科技(ID:LinkTimeCloud) 造概念,在 IT 行业可不是一件陌生的事儿,中文博大精深,新名词.新概念往往简单准确,既可以被大众接受,又可以被专家把玩, ...
搭建旅游大数据平台，打造全域旅游新体验
我国旅游产业正处于高速发展的黄金期,预计到2020年,我国旅游市场总规模将达到67亿人次.为了更好地满足如此庞大的出行群体的需求,提升旅游业的信息化服务能力,国务院日前正式发布了<"十 ...
实战分享：从京东618数据井喷看大数据平台峰值处理制胜关键
一.大数据综述随着DT(数据技术)时代的到来,人们能比以往更容易地获取更丰富的数据.数据作为一种新的能源形式,正在源源不断地发挥其巨大的价值,帮助我们激发更多的技术驱动力,提供更优质的服务. 在京东 ...

大数据平台有哪些基础服务

大数据平台有哪些基础服务相关推荐

最新文章

热门文章