4月22日,由华为云联合CSDN举办的“企业快成长大数据技术创新论坛”顺利在深圳召开,来自华为云、全知科技等企业专家和知名意见领袖齐聚一堂,分享湖仓一体、数据安全等前沿技术话题,并与现场开发者展开热烈讨论。

现场火爆,座无虚席。

在开场致辞中,华为云深圳伙伴发展部部长朱琰表示,数据作为重要资产和新型生产要素,对社会经济的发展起着关键作用。一直以来,华为将“以客户为中心”作为企业的核心价值观,因此在洞察数据对社会生产生活的重要作用,企业提出新的数字化需求后,华为云打造出系列前沿大数据解决方案。同时,华为云积极建设开放生态,携手生态合作伙伴赋能千行百业,期待各行各业基于华为云的技术来创造出更多价值。

华为云深圳伙伴发展部部长朱琰

一、快速释放数据价值,华为云湖仓一体来解

我们正处于数据爆炸时代,全球数据量规模极速增大,多源数据成为常态,企业的海量数据亟需分析和挖掘,如何挖掘更深层的数据价值,是摆在开发者和企业面前的难题。

据华为云GaussDB(DWS)架构师黄海燕分析,在企业建设数据平台的过程中,面临以下挑战:一是平衡数据量、存储空间和计算效率等需要高维技术,二是仓-湖-AI数据形成孤岛,需通过数据隔离或数据迁移,均无法满足全量、敏捷等需求;三是技术选型上,开源产品丰富,但开发运维很难;四是数据准备工作复杂低效。

华为云GaussDB(DWS)架构师黄海燕

业界早已意识到以上难题,但如何解决思路有所不同。华为云采用产品组合的方式,打造出华为云数智融合平台,支撑企业数智化转型,涵盖 DataArts Studio 数据治理中心、MRS 云原生数据湖、DWS 云数据仓库、ModelArts AI平台、LakeFormation 智能湖仓。

其中,黄海燕详细分享 GaussDB(DWS) 的技术创新。 GaussDB(DWS) 分成标准数仓、实时数仓和IoT数仓,具备全栈全场景的能力,从商用规模、安全认证、性能比拼、行业影响力上,在国内首屈一指。支持从TD到Oracle、Hana、DB2 DPF等分析类数据库的全面升级。

在最新推出的云数仓3.0架构,支持存算分离、分钟级弹性伸缩、存储成本降低50%。实时数仓能力强,IoT数据实时入库,实时IoT数据与历史IoT数据关联分析,还提供GES图数据库。在计算上,支持虚拟机、BMS和物理机的部署;存储上,支持本地存储、EVS、OBS。GaussDB(DWS)云原生架构,实现“存算管”三层分离。同时保持极致弹性,支持湖仓一体,可跟 LakeFormation 元数据对接。数智融合,与AI生产线的无缝对接。优异性能,一体化性能优化,匹配传统数仓的性能体验。

目前,全球1700+大客户选择华为云 GaussDB(DWS),涵盖政府、金融、运营商、交通、能源等行业。

二、建设数据底座,赋能数据应用

传统的IT建设模式是根据业务需求而来,不同业务部分搭建不同的系统,如电商、财务、ERP系统等,这种烟囱模式存在一些弊端,这种建设模式,造成资源重复建设、底层数据资源无法共享、造成数据孤岛,无法统一管控等问题。

前碧桂园集团数据管理专家卢毅辉

前碧桂园集团数据管理专家卢毅辉表示,搭建数据底座,通过统一的数据存储、统一模型、提供统一服务、统一目录来进行全生命周期的数据治理,确保提供的数据是标准、准确和高效的。借助数据底座,消除供给端数据孤岛、数据质量不高、数据不安全的问题。

数据底座的建设思路可总结为数据盘点、数据入湖、数据建模、数据治理、数据服务。数据盘点即将数据作为重要资产来盘点清楚,理清企业里的系统、数据、负责部门和负责人等关键信息;盘点清楚后,将所有数据统一集中到数据湖里。基于入湖的数据,来构建数据模型;在整个过程中,做好数据治理,最后一步是构建数据服务。

三、安心用数,华为云 DataArts Studio 是最优解

当前,许多企业正进行数字化转型,探究数字化转型的根本是构建数据驱动的体验创新、管理创新和模式创新。然而在落地的过程中,存在资源分散、数据不通、应用孤立等挑战,造成数据的孤岛和烟囱系统是阻碍企业进行数字化转型的核心问题。

华为云大数据技术专家王略

华为云大数据技术专家王略表示,早在十多年前,华为内部已经开始做一些实践。通过数据治理得到清洁数据,“清洁数据”指统一口径、统一标准、统一模型,来成让数据运营效率得到大幅度提升,来实现“找得到、管的住、用得好”目标。

基于此目标,华为云打造出 DataArts Studio 一站式数据治理平台,通过人工智能技术来驱动数据治理越来越智能化、高效、便捷,最终实现高效和安全地挖掘数据价值。在统一的平台上,完成对数据的清洗、转换、存储,集成数据,数据开发,数据治理等工作,构建“找得到”的数据平台,“管得住”的数据质量和数据规范平台,“用得好”的数据服务和数据安全平台。

DataArts Studio 拥有全域全场景统一数据集成,一站式任务配置,全链路任务监控的优势。在全场景数据集成上,可一键集成全量数据、增量数据、实时数据。在数据开发上,通过一站式开发+上线+运维,统一开发环境来提升数据开发效率,还有低代码开发平台能大幅度提升开发人员的开发效率。

那么如何让数据变成资产,如何实现“找得到、管得住、用得好”?通过通过两层数据目录构建企业的数据资产体系,打造全局数据地图来解决用数的最后一公里问题,解决“找得到”问题;通过对数据资产生命周期管理,来解决“管得住”问题;通过打造完整的安全体系,让数据更加安全流通、应用。

同时他高屋建瓴地表示,未来持续提升数据治理效率,离不开AI4Data 技术,未来的演进方向是在AI层让质量管理、资产管理、安全管理越来越高效和智能。

值得一提的是,华为云对数据治理,不仅是提供 DataArts Studio 平台,还提供咨询、产品、实施三位一体的解决方案,帮助企业保障治理方案落地。

四、看见数据,观测流动

全知科技高级产品专家卓勇从“看见”数据,“观测”流动说起,探讨如何为企业数据安全流通保驾护航。

全知科技高级产品专家卓勇

数据安全建设的思路遵循PDCA方法论,分为制度先行、组织建设、资产梳理、现状评估、风险监测、主动防御、统一运营等步骤。

在行业实践上,卓勇从“看见”数据,“观测”流动来分享对数据的资产梳理和风险监测。要想“看见”数据,需先对数据进行分类分级。这个过程涵盖建立分类分级标签目录,数据特征模型构建,数据资产底账接入等技术实践。

在“观测”流动中,达到对现状的梳理,使用数据的账号可管,数据漏洞可堵,数据台账可查,数据流动可见,数据场景可审,数据流调可溯,数据泄露可查。

五、精彩观点碰撞

在圆桌环节里,四位讲师黄海燕、卢毅辉、王略、卓勇《数智引领,技术助力企业决胜数字时代》话题,在科技访谈栏目《明说三人行》创始人卢东明的主持下,共同探讨在数智时代,如何让数据驱动智能决策,为企业提供高质量发展新思路,帮助企业和开发者决胜数字时代。以下为精彩嘉宾的观点:

王略观察到湖、仓的技术融合趋势,他表示数据湖正在吸收数仓的前沿理论和技术,将传统数据库里一些成熟、做得好的东西纳入到数据湖里统一管理。数仓也一样,如今华为云 GaussDB 可以实现数据存算分离、数据冷热,消除数据管理的瓶颈。在技术不断融合,我们希望无论是数据湖还是数仓,能在多套引擎上看到同一份数据,管理同一份数据,在一份数据上选择合适的场景来使用。

谈到如果企业当前架构是数仓的话,如何平滑过渡到湖仓一体? 卢毅辉表示,从数仓过渡到湖仓,可先分存量和增量数据。针对增量数据,如确定要过渡的,增量数据开始往湖仓体系接入。针对存量,如果涉及到的数据量较大,时效性要求较高,可以优先将它迁移到湖仓体系来,后续再慢慢将业务平滑到湖仓一体里,等两套系统并行使用一段时间后,才彻底将数仓去除。

谈到湖仓一体的下一步发展趋势,黄海燕表示,“仓湖智”(数仓、数据湖和AI)的一体融合,即数智融合,朝着 AI 技术使能数据,数据与 AI 结合的方向演进。

展望未来,卓勇表示,AI将会为数据安全领域带来变革,例如可以将过往大量的分析结果交给类chatGPT的大型语言模型,通过不断喂养,那么它将具备与传统风险分析不同的能力。在隐私计算上,AI也能提供一些助力。

卢东明也表示,今天从数据库到数仓,从数仓到数据湖,再到湖仓一体,大家都谈到 AI,希望未来可以为新的技术起名带有“主动智能”一词。人工智能如何主动管理、主动发现预测安全隐私、主动归纳整理数据,我希望未来能看到一个这样的智能数据管理平台。

最后,现场观众积极向台上讲师提问,进行不同的观点碰撞。

此次华为云企业快成长大数据技术创新论坛(深圳站)的成功举办,给开发者们提供了一个与技术专家面对面交流学习的机会,深入了解大数据的技术与实践,对大数据发展有了更清晰的认识。未来,华为云企业快成长技术创新论坛将继续走进更多城市,带来更多前沿技术分享,与更多开发者共话技术创新驱动企业高质量发展。

乘云创数,华为云企业快成长大数据技术创新论坛(深圳站)圆满落幕!相关推荐

  1. 华为云“企业快成长大数据与微服务技术创新论坛”成功举办

    6月16日,由华为云.msup.厦门火炬大学堂.厦门市行业软件协会联合主办的"企业快成长大数据与微服务技术创新论坛"在厦门成功举办.本次活动汇聚了华为云.珍爱网等知名企业的CTO和 ...

  2. 华为云企业快成长技术创新论坛全国巡演北京首站圆满落幕

    4月15日,华为云联合msup举办的"企业快成长大数据技术创新论坛北京站"圆满举办,100余位来自全国各地的大数据技术总监/技术经理/研发工程师共聚一堂,共探数据湖的架构演进,数据 ...

  3. 华为云打造农业农村大数据解决方案

    数据.算力强支撑,佳格天地联合华为云打造农业农村大数据解决方案 日前,华为云"828 B2B企业节"盛大开启.农业农村大数据应用企业佳格天地联合华为云推出"测亩宝&quo ...

  4. 《一张图看懂华为云BigData Pro鲲鹏大数据解决方案》

    8月27日,华为云重磅发布了业界首个鲲鹏大数据解决方案--BigData Pro.该方案采用基于公有云的存储与计算分离架构,以可无限弹性扩容的鲲鹏算力作为计算资源,以支持原生多协议的OBS对象存储服务 ...

  5. 昂贵、复杂、低效...中小型企业如何打破大数据技术栈困境?

    大数据已经成为当代经济增长的重要驱动力 数字经济,已经成为当今经济发展中非常重要的一部分. 与农业经济.工业经济如出一辙,数字经济活动需要土地.劳动力.资本.技术以及相应配套基础设施.不同之处在于:第 ...

  6. 创新、成长、基础能力全面领先,华为云领跑中国大数据厂商

    [摘要] 近日,国际权威分析机构弗若斯特沙利文Frost & Sullivan(以下简称"沙利文")发布了<2020年中国数据管理解决方案市场报告>,对中国主流 ...

  7. 华为云位居IDC中国大数据平台市场研究报告第一

    近日,全球领先的IT研究和咨询公司国际数据公司(IDC)最新发布<中国大数据平台市场研究报告-2020>,报告显示:2020年中国大数据平台软件市场规模92.2亿元人民币,华为云凭借Fus ...

  8. 华为云-基于Ambari构建大数据平台

    1第 1 章 搭建学习环境 1.1 工具软件连接 1.1.1xshell 连接工具 打开 xshell 工具,点击连接配置对话框,填写主机名和公网 IP. 在用户认证选项卡中,填写登录用户名和密码. ...

  9. 【年度榜单】2020大数据产业创新服务企业丨数据猿·金猿榜

    数据猿&金猿出品 <2020数据猿年度金猿主题策划活动>之2020大数据产业创新服务企业榜丨"数据猿&金猿--金猿榜·金猿奖"年度巨献! 大数据产业创新 ...

最新文章

  1. 上下定高 中间自适应_联合首发|医药供应链平台一块医药获新一轮融资,赋能产业上下游提质增效...
  2. Dubbo框架设计原理
  3. 硬核!如何在 Github 精准搜索开源项目?
  4. Matlab之eval函数
  5. Exp5 MSF基础应用 ——20164316张子遥
  6. 2Y叔的clusterProfiler-book阅读Chapter 2 Functional Enrichment Analysis Methods
  7. python实现简单爬虫功能
  8. 多个时间合并并集mysql_写个 Go 时间交并集小工具
  9. 线性代数知识点汇总:行列式和矩阵
  10. 学习笔记——直流电机调速器
  11. python之微信自动恢复
  12. CCF 区块链国际会议 统计 有哪些接收区块链论文的会议 (最全)
  13. 天啦噜!知道硬盘很慢,但没想到比 CPU L1 Cache 慢 10000000 倍
  14. 复旦大学计算机考研资料汇总
  15. java生成自增单号(字符+日期+数字)
  16. 一、Linux 教程-基础
  17. Debian系下载deb安装包及依赖包
  18. RFID射频技术基本原理与射频技术中的基本单位
  19. pandas基本数据对象及操作(DataFrame篇)
  20. P5195 [USACO05DEC]Knights of Ni S

热门文章

  1. Inspector检视视图
  2. Eclipse创建java web工程
  3. 游戏运营的十二大组成
  4. 微信支付 APP端 后端 第四-五弹 退款定时任务 账单下载
  5. 百度APP视频播放中的解码优化
  6. 第三方SDK接入--微信
  7. Proe转Solidworks
  8. Kubernetes初探
  9. 【华为OD机试真题 Java】找出通过车辆最多颜色 (A卷2022Q4)
  10. get与post的解释与区别