新一代DaaS产品：数聚核DataN产品社区交流会

数字经济时代，数据作为重要的生产要素之一，已然成为国家大数据战略的重点。企业挖掘数据价值、积极开展数字化转型、实现规模化的数据智能、用数据驱动业务发展，成为大数据时代企业发展的必由之路。然而，数据中台建设作为推动企业数字化转型的关键，应该如何发展，如何实现企业的数字化转型甚至是数智化转型？

10月13日，华坤道威开展了一场数聚核DataN全场景数智服务平台的产品社区直播交流会，本次直播交流会特别邀请到了华坤道威数聚核DataN的三位产品专家。整场直播活动，三位专家以数聚核DataN的差异化介绍、核心优势、架构等五大板块为中心生动分享，下面我们就开始重点内容分享吧！

在这里，你能了解到

定义：什么是基于华坤道威独创的P-PASA数据方法论打造的数聚核DataN？
差异：华坤道威数聚核DataN与市面上的中台产品差异化在哪？其核心竞争力有哪些？
架构：数聚核DataN的产品功能有哪些？
功能：数聚核DataN数据治理功能有哪些？
关系：什么是数据血缘，在建设数据血缘关系时需要注意的关键点有哪些？

1、华坤道威独创的P-PASA数据方法论

数聚核DataN是基于华坤道威独创的P-PASA数据方法论打造的，P-PASA解释如下：

第一个字母P是platform ， platform 代表的是底层平台，这个底层平台上我们可以屏蔽底层设施的限制，比如说源的限制，底层存储引擎和计算引擎的一些限制。在这个底层平台的基础上，我们可以往上再建设，进行系统的架构。

第二个字母P是product ，product就是我们的数据产品。目前，我们的数据产品主要分为三个模块：数据集成、数据研发、数据治理。数据集成是稳定高效的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力，从而为企业提供全面的数据共享。数据研发的话，我们的平台里是包括实时模块，离线模块、算法模块、 API 模块，我们的平台是提供一站式大数据开发、数据权限管理、任务离线调度等功能。数据治理是关乎企业长远发展的系统性工程，在平台上对数据收集、融合、清洗、处理等过程进行管理和控制，保障数据资产的质量，释放数据效能。

第三个字母A是asset，asset代表的是我们平台架构的数据资产，我们数聚核DataN的资产层的话我们分了三大中心：指标中心、业务中心和标签中心。在我们的平台，数据管理者可以通过数据集成同步数据、数据开发加工数据后，需要对整个平台数据进行统一管控，通过可视化方式，了解平台的核心数据资产，提供对应的数据资产管理规范。帮助用户找到数据、读懂数据、消费数据，统一管理业务资产和技术资产，致力于为用户提供高质量的数据。

第四个字母S是service，service是数据服务层，数据服务是数据分发共享和开放中心，提高数据服务构建和发布的效率。在产品层面提供将数据快速生成API的能力，通过与API网关（API Gateway）打通，同时支持将API服务一键发布至API网关。数聚核DataN数据服务层具有高性能高稳定性、智能网关托管、统一API管理、安全可靠、全流程监控和简单易用的特点。

第五个字母A是application，application就是我们的数据的应用层，主要包括数据门户、驾驶舱、创新应用系统。application数据应用层，为用户提供方便快捷的操作，是系统的核心功能之一。

全新P-PASA数据方法论，打造全场景的数智服务平台数聚核DataN，旨在为企业提供全链路的产品+技术+方法论服务，助力企业快速搭建安全、易用的数据中台，最大化释放数据价值，进一步驱动业务增长与创新。数聚核DataN满足多元化的数据共享和数据服务方式，持续支撑多业态、多人员共享协同开发，帮助企业构建数字化转型的核心能力，实现规模化的数据智能和业务创新。我们的梦想就是：通过对数聚核DataN的不断研发与创新，在未来实现数据共享和价值传递，让数据安全合规地创造价值。

2、数聚核DataN与市面上常见的中台产品的差异

在人工智能、大数据等技术发展和各行各业数字化转型加速的双重驱动下，数据中台在众多赛道中脱颖而出，成为行业焦点，几乎已经变成了现代企业发展的必需品，以阿里云研发的两款中台产品为例：

Dataworks（大数据开发治理平台）

Dataworks 的定位为大数据开发和治理平台，ETL、数据仓库建设等对开发者不做任何限制，其所有的开发组件都是比较完善的，主要包括六个部分：智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析与数据治理服务的大数据平台。

Dataphin（智能建设与治理）

Dataphin的定位是阿里巴巴数据中台方法论，开发者严格按照基于阿里多年零售经验的维度建模理论构建数据中台(数据仓库)。“设计即开发”，这是Dataphin坚持的核心理念，通俗理解“设计即开发”就是开发人员按照维度建模方法论完成所有设计之后，即可构建数据中台。Dataphin可以为企业提供一站式的集数据引入、规范定义、数据建模、数据研发、数据萃取的全链路智能数据构建及管理服务。

从这两款产品的优劣势来看，Dataworks注重于功能的开发与应用，是全栈式数据研发能力的大数据平台，涵盖了完善的数据集成与开发、生产运维调度、离线与实时分析、数据质量治理与资产管理、安全防护、数据共享与服务、机器学习、数据微服务应用搭建等能力，Dataworks的不足之处就在于Dataworks不具备数据中台建设方法论的指导，对于缺乏数据中台建设方法论经验的企业来说，不够简单易用。Dataphin注重用阿里巴巴数据中台“OneData+OneID +OneService”的方法论，以此来构建维度建模体系的数据中台，对于企业来说便于操作，简单易用，Dataphin的不足之处就是不具备很强的全栈数据研发能力。

数聚核DataN作为全场景的数智服务平台，经过我们技术团队不断地研发创新，已经具备了全栈数据研发能力，帮助企业进行数据的治理、高效分享和互通，构建企业级的数据中台，释放数据价值。同时，华坤道威将独创P-PASA数据方法论融入到工具中，打造高效、敏捷地支持数据能力全局管理和共享复用的数据中台，助力企业构建统一数据管理与服务体系能力，赋能企业数字化转型升级。

数聚核DataN的核心竞争力

数据中台建设是一个持续迭代、持续演进的过程，采用适配的数据架构对企业实现化数字转型有着重要意义。华坤道威全场景数智服务平台数聚核DataN，其核心模块包括规划中心、数据集成、数据研发、任务运维、资产管理、数智服务、数据治理七大模块，致力于帮助企业快速搭建数据中台，助力企业进行数字化转型、降本增效，其独到之处体现在以下几个方面：

基于多视角的设计：开发视角、运维视角、管理视角
完整的数据链路：从数据集成，数据研发；数据治理；数据资产再到数据服务，一站式解决企业用数问题。
全链路数据治理：从源头数仓（数据湖）再到应用，采集仓内外元数据，打通数据血缘，全链路数据质量和安全保障。
用户DIY产品结构：模块即产品，用户可以根据需求定制组装产品模块，形成企业数据解决方案，支持数据仓库，数据中台，数据治理，数据湖，实时仓库，湖仓一体，全方位满足企业需求。
定制式审批流：解决用户数据审批流程的个性化定制，满足企业的数据用数需求。
弹性安全管控：支持黑白名单管理，支持任务、资源、数据（行列级、应用和大数据底层）权限隔离，支持数据脱敏加密，风险识别，行为审计，全力保障数据安全，更好保障客户的业务安全。
全域数据资产管理：依托高度自主、灵活的产品，搭建企业组织级数据能力体系，支持仓内外数据资产管理，建立三大中心（指标中心，标签中心和业务中心），更全面的管理数据资产，优化数据资产管理，提升数据价值创造力。
基于One Meta的DVM：参考Java虚拟机JVM架构，基于OneMeta实现了Data虚拟机DVM，DVM实现了跨设施跨引擎插拔式产品部署。

3、数聚核DataN的产品功能

数聚核Data N的产品架构包括规划中心、数据集成、数据研发、运维中心、数据资产、数智服务和数据治理7大模块。

规划中心：提供空间管理、项目管理、系统管理等功能。
数据研发：支持基于计算引擎快速实现物理表与逻辑模型的数据查询与结果获取，实现轻量化数据查询服务，提供一站式大数据开发、数据权限管理、任务离线调度等功能。
数据集成：提供多种异构数据源的数据读写能力，支持可视化数据同步管道配置开发，并提供轻度数据清洗转换、脏数据过滤、流量控制等能力，致力于提供在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。
数据资产：业务系统及数据资源平台中存在大量的数据表、API等各类数据资产，数据管理者通过数据集成同步数据、数据开发加工数据后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。
数智服务：数据服务支持将现有的API快速注册到数据服务平台以统一管理和发布，通过与API网关（API Gateway）打通，同时支持将API服务一键发布至API网关。用户只需关注API本身的查询逻辑，无需关心运行环境等基础设施，并支持弹性扩展，实现零运维成本。
数据治理：定义关键业务对象的数据表达方式和业务语意，制定并管理平台遵循的统一数据标准，在数据标准的约束下设计标准化的各领域数据模型，通过参数配置快速生成数据处理逻辑，保证数据充分融合，提高数据开发效率，提升数据的信息完整性、一致性和可用性。
运维中心：支持千万级任务的稳定调度与运维，新增支持各种不同周期（天、小时、跨周期）任务调度，支持生产任务监控告警与自定义告警规则配置，确保任务正确生产与调度。对已上线的任务进行管理运维，具体可分为离线任务运维和实时任务运维。针对不同类型任务的特性，提供不同的运维功能。

4:数聚核DataN数据治理功能

数聚核DataN数据治理平台平台主要包括元数据管理、数据标准、数据质量、数据安全等模块，通过数据治理平台实现对数据的自主化，提升数据资产特性，集中管理并且能控制数据，帮助企业实现高效、安全的数据治理。

元数据：元数据作为定义数据的数据，包含了数据模型的所有属性信息、字段以及所关联的数据标准、数据指标等信息。按对象来划分，元数据可进一步细分为业务元数据、技术元数据、管理元数据等。支持元模型管理、元数据采集、元数据维护，实现对数据的元数据信息进行管理，从而打通不同数据源以及不同库表中的数据之间的联系，为数据的全链路分析提供依据，创造更大的数据价值。总的来说，元数据治理的范畴包括各个方面的业务、技术和管理活动，以提高数据质量。

数据标准：数据标准平台主要提供数据标准的建立、落地映射、标准查询、标准任务监控等功能，保证各用户对同一指标（事物）的理解是一致的，通过规范模型构建、任务命名等多场景的标准实现，完成数仓建设及业务库按照数据标准进行落地。

数据质量：数据质量控制主要包括五个部分：数据提取、数据分词、数据过滤、数据存储、数据标准化。通过对数据表、字段自定义规则或者以规则模板的方式为数据添加质量监控任务，根据质量程度采取预警和阻塞措施，来保障数据的一致性、规范性、及时性、稳定性、完整性、准确性，并生成数据质量报告，为用户提供数据质量监控和跟踪的数据支持。

数据安全：数据安全管理贯穿着整个从数据采集到数据研发再到数据服务全生命周期的一个重要的事项，数聚核DataN数据安全管理支持对敏感数据进行等级的分类，按照敏感等级加强对数据的保护能力，保障敏感数据的安全。提供敏感数据灵活标定，支持对数据集成、分发进行数据加密脱敏以及解密的操作。

5、建设数据血缘关系的建议

数据血缘，是指数据的全生命周期中，数据从产生、处理、加工、融合、流转到最终消亡，数据之间自然形成一种关系。在数据溯源的过程中，会记录数据产生的链路关系，这些关系与人类的血缘关系比较相似，所以被称为数据血缘关系，数据血缘属于元数据的一部分，同时全链路的元数据也是建设数据血缘关系的基础。

建设数据血缘关系的注意事项：

宁愿准，不愿全：数据处理过程实际上是程序对数据进行传递、运算演绎和归档的过程，数据的流动性和数据间的复杂关系，会导致某一数据的细微变动引起多个系统的数据发生变化。为了确保数据血缘的完整性，必须将整个系统能够作为数据血缘的分析对象，真正做到追源头溯尾。

兼顾内外，打通链路：数据和数据之间的关系可能是随时变动的，为了保证数据血缘的准确性和可用性，在进行数据血缘关系建设时必须与数据保持同步更新，做到内外兼顾，实现全链路的数据打通。

逐步化简技术栈，架构统一，血缘才好统一：所有的技术、架构都是为需求服务的，在建设数据血缘关系时，需要统一简化技术栈、做到架构统一，才能真正实现标准化的血缘统一。

价值驱动，脚踏实地：在建设数据血缘关系时，首先要明确定位，做好规划，明确做血缘的意义，然后进行进一步的建设。

常用血缘技术：日志分析，SQL解析，执行计划解析，ETL解析，图计算。

全量链路基础：元数据是建设数据血缘关系的基础，而数仓ODS层和ADS层是衔接内外血缘的关键。

企业在面对爆发式增长的数据和复杂的数据关系时，迫切需要通过建设数据血缘关系来对杂乱的数据进行治理与分析。在这样的背景下，建设数据血缘关系对于分析数据、跟踪数据的动态演化、衡量数据的可信度、保证数据的质量的意义重大。数据的血缘关系是数据治理中需要着重注意的部分，基于这种认识，我们对数据血缘关系做了以上分析研究及建议，希望能引起大家对数据血缘关系的重视。

华坤道威数聚核DataN产品专家精彩答疑小Tips

Tips1：华坤道威数聚核DataN有原模型的概念吗？如何解决客户动态管理需求？

专家：原模型本身就是拿来管理元数据的，目前来说的话，我们的产品数聚核DataN就是按照数据源去分类，采集，在产品内部也是做了一些梳理的。原模型这个概念本身是在我们的技术规划里的，当然我们后面会提出一个元仓的概念，同时也会增加元模型这个模块的建设。

Tips2：华坤道威研发团队在进行数据治理时，最大的挑战是什么？

专家：我们面临的最大挑战就是，在进行全链路的数据治理之后，怎么样去最大化的实现价值。数据治理是一个长期、复杂的体系化工程，涉及数据标准、数据质量、主数据、元数据、数据安全等多个方面。数据治理是关乎企业长远发展的系统性工程，我们应该充分认识到数据治理的重要程度，积极推动数据治理工作，提高企业数据质量。那我们华坤道威在后期也会围绕企业数据治理需求，不断优化数据治理体系及最佳实践，助力企业完成数据收集、融合、清洗、处理等过程进行管理和控制，保障数据资产的质量，释放数据效能。

Tips3：在面对繁杂数据且需要共享的情况下，如何做到关键链路建设血缘关系？

专家：我们在对关键链路建设数据血缘关系时，有一套事前事中事后的逻辑，并且我们会做一个数据资产的盘点。在这样的前提下，事前如果能做好，那我们肯定会按照整个实施计划来。如果在事中、事后出现了一些意外情况，我们会和业务进行数据资产的等级的分类，比如说重要关键什么，或者划分一级二级三级四级，划分好了之后，我们再按照数据分类再建设数据血缘关系。在后期的规划中，我们也会加一个工单反馈的模块，我们工单反馈能够做到，使用数据的技术人员可以提取到工单，同时，我们会有业务的owner 和技术的owner，把数据资产管理的数据owner都定好，对应的工单的话，就有一个单独验收到数据的owner，再去着重建设数据血缘关系，这样就会形成一个闭环。

数字时代，数字化已经成为企业核心竞争力之一，并影响着企业未来发展之路，构建数据中台成为企业释放数据价值、打造新的核心竞争力的关键之举。未来，华坤道威将持续加大数据中台领域的技术投入和研发，不断推动技术变革和产业创新，以卓越的数据中台产品和最优的实践服务经验，加速推进企业数字化进程，全面推动从IT架构到应用解决方案的转型与升级，以数字化转型升级驱动企业高质量发展。

新一代DaaS产品：数聚核DataN产品社区交流会 | 华坤道威专访相关推荐

数聚易视重磅推出，助力企业级数据大屏可视化
数字化转型趋势下,以大屏为主要载体的数据可视化需求日益增加.大屏给人以震撼的视觉冲击,呈现直观丰富的信息,有效帮助管理或业务人员决策.判断.发现问题.诊断问题,已经成为数字化管理中不可或缺的场景之一. ...
数聚云端-新理念成就新产品
导语:2016年9月9日下午,云和恩墨"数聚云端"新品发布会在京举行,云和恩墨创始人积极董事长盖国强先生首先介绍了公司的理念和业务的发展,分析了当前行业现状和面临挑战,最后通过三款 ...
cad模型轻量化_国内首款：新一代基于云架构的三维CAD产品CrownCAD正式公测！
4月15号,华天软件控股子公司华云三维科技有限公司研发的国内首款.完全自主可控的新一代基于云架构的三维CAD产品CrownCAD正式上线公测. 公测地址:http://www.crowncad.com ...
2021中国数据库技术大会圆满落幕，录信数软携新产品LXDB亮相大会
2021年10月18日,录信数软创始人兼CTO母延年在2021中国数据库技术大会上分享了"PostgreSQL在OLAP场景实战演练,支撑单节点百亿规模多维检索与统计"的主题演讲, ...
用友NC65“该产品的用户数已达到产品授权数”的伪故障
我司财务有一套NC65,运行在Hyper-V高可用性故障转移群集上.物理机和虚拟机的系统都是Server 2012 R2. 该系统过去一年遇到过包括电网故障导致UPS耗尽,服务器冷重启等严重的停机故障 ...
GoKit3(V)学习笔记02_自定义产品数据点
跟着Gokit3使用说明书的教程顺利地让设备跑了起来,家里一下子热闹了起来,玛丽玛丽的声音此起披伏,多多儿还不会讲话,也跟着maaa地叫着.这是GoKit3给生活带来的快乐. 言归正传,这篇开始讲述G ...
NC打开节点报该产品的用户数已达到产品授权数的解决方法
该产品的用户数已达到产品授权数找到动态建模平台-系统管理-授权使用监控模块编码2090是财务供应链模块,6080是人力薪酬模块,选中对应的行. 删除license占用
淘宝开放平台产品数查询_“开放”如何改变产品
淘宝开放平台产品数查询 Karen Borchert在"万物开放"会议(10月22日至23日)上发表了有关"开放"如何改变产品的演讲. 我是Opensour ...
中源数聚携手中科点击共推管理咨询变革
文章讲的是中源数聚携手中科点击共推管理咨询变革,5月23日,首届管理大数据圆桌论坛暨中源数聚.中科点击战略签约仪式在北京丰台科技园总部基地国信优易发布厅隆重举行.来自管理咨询.大数据.云计算.行业领导 ...

新一代DaaS产品：数聚核DataN产品社区交流会 | 华坤道威专访

新一代DaaS产品：数聚核DataN产品社区交流会 | 华坤道威专访相关推荐

最新文章

热门文章