技术专家太玄：企业数字化转型中数据底座“湖仓一体化”l 华坤道威专访

随着大数据领域的迅速发展和普惠化，数据建设越来越受到企业的高度关注，而“湖仓一体化”也成为数据建设中重要的组成部分，越来越多企业把“湖仓一体化”视为数字变革的重要契机。

那么对于企业来说，如何打造高效、安全的数据底座支撑其实现可持续化数字转型？针对这一问题，华坤道威特邀技术专家太玄为大家答疑解惑，整场直播太玄主要围绕当下风头正盛的技术热点湖仓一体化，数仓与湖仓、实际应用以及大数据生态常见的技术等方面进行分享，以下是直播重点内容分享。

你能了解到

背景：湖仓一体为何在构建数据中台架构中起决定性作用？
概念：什么是数仓、湖仓、湖仓一体化？
关键痛点：华坤道威数据中台—数聚核Data N 它是如何以数据工作的痛点为切入点，进行数据中台的架构设计与建设？
自研Fuzer：为什么华坤道威要选择自研调度系统——Fuzer？
应用领域：目前，客户开始明确分层，他们带来给平台架构取舍不同，主要集中在哪些场景和需求？
未来展望：华坤道威湖仓一体平台未来规划及发展方向？

Q1：湖仓一体为何在构建数据中台架构中起决定性作用？

数据中台是一套可持续“让企业的数据用起来”的机制，通过有形的产品和实施方法论，构建一套持续不断把数据变成资产并服务于业务的机制，数据来自于业务，并反哺业务，不断循环迭代，实现数据数据可见、可用、可运营，通过数据中台把数据变成一种服务能力，其目标是提供普惠共识的数据服务。

数据中台建设大火两大原因：

一数据中台确实给小前台提供了强有力的数据支持，实现了对需求的快速响应。

二是数据中台已经在阿里体现了巨大的商业价值和应用价值。

目前来说，企业面对海量数据分析的需求愈发突出，数据难以统一，同时还需要为数据湖、数据仓库两套存储系统分别对接不同的计算引擎，这样会导致数据研发成本大和数据残余和不一致的情况出现，采用湖仓一体构建数据中台架构，就可以有效规避这些问题，湖仓一体架构打通了数仓和数据湖，并融合了两种架构的优势形成数据共享，实现了联机数据融合和联机分析的同时支持。

在华坤道威数据中台中，湖仓一体能够充分融合数据治理的能力，把建设数仓，湖仓的单向架构能力，提升到架构融合，充分发挥其数据最终融合目标，为数据分析，联机算法等等计算场景，为企业数字化能力赋于新生服务力量，切实提升企业人效，数据建设及使用效率。

截至目前，华坤道威已服务政务、金融、工业制造等多个行业，成功为数百家企业构建数字化底座建设，全面支撑企业未来大规模业务智能落地，推进全线业务智能化，实现数据驱动下的企业数据赋能。

Q2：什么是数仓、湖仓、湖仓一体化？

数仓概念

数仓从字面理解上就是数据仓库的缩写，其实对于数仓可以理解为原来各个数据孤岛中的数据可能存储位置、存储格式、数据源形式等各个方面不同，而数仓要做的就是把数据按照所需格式提取出来，进行转换、过滤、清洗。最终装载到数据仓库，整个过程也叫ETL(Extraction Transformation Load),也就是从不同数据库“提取”指定数据，进行“转换”为指定格式，最终将满足指定格式的数据“加载”进数据仓库。

在数仓建设中有个重要数据分层建设概念，通常中台设计中主要分为数据引入层、数据公共层和数据应用层。

湖仓概念

数据湖最简明概念就是以集中方式存储各种类型数据，能够覆盖广泛的数据源，支持多种计算与处理分析引擎直接对数据进行访问的统一存储平台。能够扩展数据分析、机器学习，数据访问等功能,但相较于数仓数据存储的格式，数据湖结构上广泛性更强，同样计算引擎的也更多样化。数据湖对存取的数据没有格式类型的限制，数据产生后，可以按照数据的原始内容和属性，直接存储到数据湖，无需在数据上传之前对数据进行任何的结构化处理。

数据湖可以存储结构化数据（如关系型数据库中的表），半结构化数据（如 CSV、JSON日志等），非结构化数据（如电子邮件、文档、PDF 等）以及二进制数据（如音频、视频等）。

特点：

数据仓库: 适合结构化数据，但不适合非结构化数据。

数据湖: 支持多种格式存储数据库，从数据结构上通常分类为结构化，半结构化，非结构化。

湖仓一体概念

数据中台建设架构不断发展，从2020年DataBricks公司提出“湖仓一体”建设架构，在数据建设加上又新增一种新型的数据存储应用开放式架构，打通了数据仓库和数据湖，将数据仓库的高性能及管理能力与数据湖的灵活性融合了起来，并且湖仓一体在扩展性、事务性以及灵活度上都体现出了相较于数仓，湖仓更独有的优势，所谓湖仓一体，就是要融合数据仓库的成长性与数据湖的灵活性，将二者有效结合起来，做到取长补短。

华坤道威湖仓一体平台，在注重数据价值的同时，有意识的把数据保存下来，做到在业务层面上，把数仓和湖仓真正的融合在一起。

相比于传统的湖仓一体建设，华坤道威湖仓一体可以完成统一数据的集成，支持分析加载结构化，半结构化及非结构化数据；打通元数据，使得数据和元数据可治理；还具备事务支持，高性能查询和检索能力、支持各种工作负载、引入纯算分离的优势。

Q3：华坤道威数据中台—数聚核Data N 它是如何以数据工作的痛点为切入点，进行数据中台的架构设计与建设？

华坤道威数据中台—数聚核Data N遵循现有业务形态，发展建设属于自己的数据中台，通俗点说，数据中台建设的技术架构选型多种多样，在计算引擎上有离线，实时，在离线也具备多样选择，所以我们更应考虑自身业务数据流转，数据服务能力所展示真实形态，择选适合中台的技术。

Q4:为什么华坤道威要选择自研调度系统——Fuzer？

对于这个问题，我们具备一定经验之谈，在数据中台产品探索迭代过程中，我们在技术选型上从会用到逐步用好，到自行改良升级，从中攻克了一些的技术难题。华坤道威数据中台技术团队创新自研的Fuzer调度平台，结合产品需求，迭代遗留问题等充分贴合实际从0-1完成了第一个版本的上线，为中台调度赋能，并且高度融合我们内部使用的离线，实时丰富的计算组件，数据源组件，多租户设计思想。

华坤道威自研的Fuzer调度系统支持百万级任务的复杂调度，系统自动解析任务依赖，并生成任务流依赖关系，无需人工构建任务流，支持即时和定时的动态实例管理以及灵活调度编排（任务、任务流、组合依赖），多维任务保活机制。

Fuzer调度系统平台是一个去中心化分布式易扩展的任务调度平台，支持调度中心高可用，可以确保稳定性，在系统管理和资源管理上，帮助企业进行用户管理和执行节点多租户，工作流结构图可以清晰显示任务状态、任务类型、工作流状态。重试次数等关键信息。

除此之外，华坤道威自研的Fuzer调度系统还具备最小中间件的特性、循环执行、支持不同级别多种设置方式的工作流参数，使得工作之间相互依赖，在策略上，支持任务失败暂停、跳过、重试以及超时处理等优势。

Q5:目前，客户开始明确分层，他们带来给平台架构取舍不同，主要集中在哪些场景和需求？

这问题上主要分为两点来说，首先上一代数仓体系带来的数据赋能能力给予了企业在数据能力上突飞猛进的动力，为企业业务增长带来其不可低估数据红利，同时面对日益复杂的业务场景，以及时代发展的需求，从企业数据能力到企业数字化转型，这不仅仅是技术架构的演进，也是企业能力更深层的数字升级。

早期电商企业的数据能力为企业电商行业赋能，后期电商诸多数据多样化沉淀，因而对于数据再次利用，显现得尤其重要。目前华坤道威数据中台技术团队对清洗结构化数据有多痴迷，也会对非结构化数据多么的重视，其通俗所诉，智能客服的所承接的客户语音视频诉求，将会在非结构化数据分析后响应，这其中显而易见的需求就是对多样化数据不断分析利用，为业务场景数据赋予更多价值。

Q6:华坤道威湖仓一体平台未来规划及发展方向？

数据建设过程是循序渐进，从企业多样化业务系统的数据孤岛，再到数据规范建设属于自己的数据仓库，再到全面的数据资产丰富全面管理迈进数据湖，又到现在业内不断推行发展的“湖仓一体”，不难看出很多时候出于数据中台建设能力的限制，导致很多事情没法做。然而，通过数仓、湖仓以及湖仓一体架构，企业可以充分发挥组织内部的全面数据价值。我们也有理由相信，伴随着企业的数字化转型，新一代数据建设湖仓一体架构也会有更大，更成熟的发展空间。

未来，华坤道威还将在数据中台建设过程中，持续对数据建设、计算引擎与最终数据分析计算任务插件不断创新融合，不断优化升级湖仓一体数字底座，释放企业数据价值、打造新的核心竞争力，在整个数据量级目标上，不断向亿级，百亿级突破，让华坤道威数据中台成为更有特点，更好用的产品，全面助力各行各业数字化转型，驱动业务创新变革。

技术专家太玄：企业数字化转型中数据底座“湖仓一体化”l 华坤道威专访相关推荐

企业数字化转型高级解决方案专家柳京活：元宇宙背景下的大数据之路 l 华坤道威专访
近两年,元宇宙成为时下热门话题之一,从概念的形成到观念的传播,从技术的创新再到资本驱动的产业迭代升级,可谓是说风头正劲,而"大数据"也成为推动元宇宙发展的关键部分,越来越多企业把& ...
清华博士段安：隐私计算如何打破数据孤岛实现数据价值最大化 l 华坤道威专访
去年,随着国家数安法和个保法的相继出台,监管重拳的落地,个人隐私安全.隐私泄露等问题越来越受到人们的重视. 在此背景下,如何在合法合规的情况下,让企业经营持续不断增长,如何解决数据孤岛壁垒,真正让数据 ...
财务数字化在企业数字化转型中起到什么作用？
财务数字化在企业数字化转型中起到什么作用?许多企业在推动各大业务部门进行数字化转型时,往往会忽略财务部门.然而,作为掌握公司核心资源与数据和推动企业数字化建设的部门,财务也应成为企业数字化转型的重要突 ...
BI在企业数字化转型中的价值
企业数字化转型是一个长期的过程,从管理角度,数字化转型需要自上而下的战略部署,需要高层领导在行动上给予大力支持,从全局角度出发制定长远的目标和发展计划,并进行合理组织结构的调整,最终在全公司形成&qu ...
数据资产为王，如何解析企业数字化转型与数据资产管理的关系？
原文链接:数据资产为王,解析企业数字化转型与数据资产管理的关系视频回顾:点击这里课件获取:点击这里一.数据资产背景介绍随着企业数字化转型的深入,数据体量爆炸式增长,如何控制数据生产成本.发现有 ...
企业管理OA系统在企业数字化转型中带来的变化，简直难以想象
目前企业管理面临到哪些痛点 1.信息孤岛:企业内部信息流动不畅,各部门数据独立,互相之间信息难以共享和沟通. 2.流程繁琐:企业业务流程较为繁琐,审批流程漫长,给业务员和经理带来不必要的工作压力. 3 ...
谈谈数字化转型中数据治理框架及数据战略规划的关键要素
当前,数据作为新的生产要素提到了关键位置,众多组织认为数据是重要的战略资产.可是,如何发挥数据要素的生产力,数据资产又如何为企业创造价值,确有些无从下手.那么,这就是数据战略要解决的问题.企业怎么看待 ...
如何解决航空企业数字化转型中的痛点？
数字化时代,越来越多的企业开始关注数字技术,希望通过数字化改造提高企业效率和竞争力,为企业创造更多的商机和利润.今天就来同大家探讨航空领域,小程序在企业数字化转型中发挥的作用. 航空业员工端App的敏 ...
数据价值安全释放华坤道威详解隐私计算技术
聚焦数据安全,企业数字化转型再遇挑战数字经济时代,数据作为重要的生产要素,已成为企业和国家发展的重要战略资源,也是推动市场经济发展的强大动力.在这样的背景下,企业价值创造的基础不再只是资产,而是更多 ...

技术专家太玄：企业数字化转型中数据底座“湖仓一体化”l 华坤道威专访

技术专家太玄：企业数字化转型中数据底座“湖仓一体化”l 华坤道威专访相关推荐

最新文章

热门文章