数据中台稳定性的“四高”

写在前面

这是奇点云技术专栏「StartDT Tech Lab」的第18期。

在这里，我们聚焦数据技术，分享方法论与实战。一线的项目经历，丰富的实践经验，真实的总结体会…滑到文末，可以看到我们的往期内容。

本篇由奇点云DataSimba团队带来：

作者：远浪、鱼飞、若曦

阅读时间：约8分钟

降低成本，提高效率，辅助决策…业界只道中台好，而当我们走进幕后，发现企业在使用数据中台的真实场景中，也会遇到一些问题：

数据分析输出不及时，导致业务部门无法及时拿到结果；数据加工与计算不准确，导致决策出现偏差；平台服务不稳定，则还会引发用户流失、运维成本高等一系列问题。

这些“幕后故事”都指向一个概念：数据中台稳定性。

0. 数据中台的“稳定性”是什么？

数据中台的“稳定性”是什么？

我们认为，稳定性是数据中台必备的一种性能，它确保数据中台能对数据存储计算、中台应用架构以及平台自身做精细化管控及保障。

说人话，也就是只有具备稳定性的数据中台，才能精细化地保障数据存储计算正常、高效运行，才能管好应用架构及平台自身，及时应对和处理突发的各种问题。

那怎样的数据中台才是具备稳定性的呢？

我们认为，有四大必备要素：高可用，高并发，高效调度，高效运维。

- 高可用：可用性至少满足99.999%。

- 高并发：数据计算能力达离线计算亿级+/小时，实时计算数千万级/小时；数据API服务满足QPS（Queries per Second，每秒查询率）10万+。

- 高效调度：支持数十万级别任务调度。

- 高效运维：支持秒级的告警、分钟级的定位问题与止损、小时级的恢复故障影响。

1. “高可用”的数据中台

数据中台要有稳定性，“高可用”是重要基础。

“高可用”（High Availability），通常指一个系统经过专门的设计，减少系统不能提供服务的时间，尽可能地保证服务长期可用。

打个比方，如果系统每运行10万个时间单位，就会有1个时间单位无法提供服务，那么系统的可用性就是99.999%。

一个“高可用”的数据平台需要从这五个方面考虑：网络、业务服务、中间件、数据库、数据本身。

1. 网络：采用设备冗余、链路捆绑、环网技术等，保障在网络出现故障（错误）后能快速自动恢复；

2. 业务服务：服务节点本身无状态，可部署多节点，以保证当任一节点异常（宕机）时，服务仍可对外提供能力；

3. 中间件：中间件以注册中心、哨兵、主备等方式，以保证当中间件任一节点异常（宕机）时，服务仍然可正常访问；

4. 数据本身：数据需多备份，以提高数据本身的容错性，防止数据丢失；

5. 数据库：分布式数据库需采用多副本，非分布式数据库需采用主备、数据定时备份的方式。

奇点云服务中的一家知名消费品企业，每日需承载亿级数据量处理加工，向下对接几十家供应商，向上承接多条业务线的数据运营看板。一旦数据中台出现问题，可能会导致次日各业务线数据异常，因此对高可用有非常高的需求。

奇点云的云原生数据中台DataSimba根据客户情况，从网络、数据本身、数据库、中间件、业务服务五个角度进行加固，最终保证客户数据平台可用性达99.999%。

2. “高并发”的数据中台

高并发（High Concurrency），如字面意思，它指一个系统经过设计，能同时并行处理许多请求。

具体而言，高并发能力主要体现在数据集成和数据服务两个方面：

· 数据集成层面，在对源数据库影响最小的前提下，保证数据ETL的并发采集能力；

· 数据服务层面，能更快地将加工之后的结果数据供客户决策、报表分析等。

奇点云DataSimba的高并发具备以下特点：

1. 服务采用集群式分布式部署，可扩展性强；

2. 根据不同的数据级别，采用不同的数据存储方案；

3. 高并发方案支持熔断、限流和降级等；

4. 数据服务QPS可支撑10万级别。

某国内证券行业头部企业客户有亿级C端用户，需要及时将C端数据采集到数据中台，并将数据经过标准化补充和计算，最终为C端用户提供服务。DataSimba的高并发与数据处理能力100%支持了该客户的需求。

3. “高效调度”的数据中台

具有稳定性的数据中台，也需要有好的调度服务：面对海量任务，可根据企业的资源、任务优先级、加入时间等因素，有条不紊地执行任务。在每一项任务及时完成的同时，节约企业的资源成本。

DataSimba的高效调度具备以下特点：

1. 多类型任务兼容性高：支持DataX、Flink、Python、Hive、Spark等不同类型的任务进行统一的调度执行服务；

2. 资源利用率高：任务决策系统根据不同的任务资源占用度、剩余物理资源、任务依赖优先级，合理地调度任务执行顺序；

3. 实时调度优化：任务执行状态实时监控，及时对失败的任务重新调度。

以某室内装修3D设计软件客户为例，企业有庞大的C端用户群体，日需调度的任务达到10万级别，且任务之间依赖复杂度高。DataSimba支撑企业完成了日10万级别的任务处理。

4. “高效运维”的数据中台

运维是数据中台稳定性的后盾。

数据中台的高效运维主要体现在：能够快速发现问题，同时具备解决问题的能力，能够自恢复，最大限度地减少企业对数据中台的维护成本。

以DataSimba为例，奇点云从以下3点实现数据中台的高效运维：

1、分布式链路追踪

DataSimba采用分布式链路追踪，具备多语言自动探针、兼容多种开源架构的基础设施与组件、基础设施与组件的自动探针。

2、智能监控和告警

当报告任务发生超时、任务失败、超出设置告警规则的范围等情况，DataSimba会自动实时识别，并发出告警信息，提示对应告警对象。

3、自恢复

系统的核心业务模块需支持遇故障时自动记录错误节点，并具备自恢复功能，以保障任务运行时的数据完整性与准确性。

DataSimba具备全面的监控与告警机制，目前达到了秒级的告警、分钟级的定位问题与止损、小时级的恢复故障影响。

举个“栗子”，某头部快消企业客户，在数据中台有近万个任务实例，且各个任务实例之间数据计算依赖性与耦合性高。DataSimba运维的低成本、及时响应、任务数据准确性与完整性等特性，充分满足企业要求，有效应对企业在使用中出现的各类异常场景，得到了一致好评。

5. 小结

我们认为，能带来业务价值的数据中台，才是客户真正需要的数据中台。

为此，数据中台必须能准确地、稳定地、高效地为企业自身所用——唯有具备稳定性的数据中台，方能有效保障企业数据的完整性与准确性，提升服务的可用性，同时实现智能化运维，降低运维成本，为用户带来良好的使用体验，为精准决策提供支撑，实现降本增效。

回顾前文介绍的关键点，高可用、高并发、高效调度、高效运维，这“四高”构成了数据中台稳定性的四个必备要素。奇点云之所以重视数据中台稳定性，并选择将上述要素糅进云原生数据中台DataSimba，是因为我们和客户站在一起。

数据中台稳定性的“四高” | StartDT Tech Lab 18相关推荐

基于OLT（实体、关系、标签）建模方法论的最佳实践 | StartDT Tech Lab 08
写在前面这是奇点云全新技术专栏「StartDT Tech Lab」的第8期. 在这里,我们聚焦数据技术,分享方法论与实战-滑到文末,可以看到我们的往期内容. 本篇由奇点云产品专家「宵夜」带来: 作者 ...
浅谈单点登录SSO实现方案 | StartDT Tech Lab 06
写在前面这是奇点云全新技术专栏「StartDT Tech Lab」的第6期. 在这里,我们聚焦数据技术,分享方法论与实战.一线的项目经历,丰富的实践经验,真实的总结体会-滑到文末,可以看到我们的往期 ...
中台架构详解（上）| 建设数据中台系列（四）
中台打破了应用系统的壁垒,从企业全局梳理和规划业务程,重构了组织架构.业务架构与IT 架构. 在梳理了企业的IT 现状并回顾了SOA 的历史之后,我们需要对中台架构进行一番详细的介绍,阿里巴巴的Ali ...
数据中台实战（四）：商品分析（产品设计篇）
上一讲讲了<数据中台实战(三):用户分析(产品设计篇)>用户模块我们用的是海盗模型,从用户的获取.激活.留存.收入.推荐的角度来做分析.这些指标是没问题,但是作为电商产品,如果站在价值的角 ...
数据中台建设（四）：企业构建数据中台评估
文章目录企业构建数据中台评估一.数据应用成熟度四个阶段
tgw介绍和股票历史日线数据程序化下载——量化数据中台系列（四）
github 1. tgw https://github.com/tgw2023/tgw 2. AmazingQuant https://github.com/zhanggao2013/Amazing ...
游戏行业应该如何建设数据中台？
责编 | 晋兆雨来源 |智领云科技封图 | CSDN 下载自视觉中国随着网络世界的迅猛发展,"游戏"进入了前所未有的蓬勃发展期.根据Newzoo数据显示,2019年全球游戏市 ...
数据仓库、数据湖、数据集市、和数据中台的故事
数据仓库.数据湖.数据集市.和数据中台的故事如今,随着诸如互联网以及物联网等技术的不断发展,越来越多的数据被生产出来-据统计,每天大约有超过2.5亿亿字节的各种各样数据产生.这些数据需要被存储起来并 ...
【珍藏版】⼤数据中台架构及解决⽅案
持续输出敬请关注大数据架构湖仓一体化流批一体离线+实时数仓各种大数据解决方案各种大数据新技术实践持续输出敬请关注⼤数据平台基础架构及解决⽅案_大数据研习社的博客-CSDN ...

数据中台稳定性的“四高” | StartDT Tech Lab 18

数据中台稳定性的“四高” | StartDT Tech Lab 18相关推荐

最新文章

热门文章