乘云创数,华为云企业快成长大数据技术创新论坛(深圳站)圆满落幕!
4月22日,由华为云联合CSDN举办的“企业快成长大数据技术创新论坛”顺利在深圳召开,来自华为云、全知科技等企业专家和知名意见领袖齐聚一堂,分享湖仓一体、数据安全等前沿技术话题,并与现场开发者展开热烈讨论。
现场火爆,座无虚席。
在开场致辞中,华为云深圳伙伴发展部部长朱琰表示,数据作为重要资产和新型生产要素,对社会经济的发展起着关键作用。一直以来,华为将“以客户为中心”作为企业的核心价值观,因此在洞察数据对社会生产生活的重要作用,企业提出新的数字化需求后,华为云打造出系列前沿大数据解决方案。同时,华为云积极建设开放生态,携手生态合作伙伴赋能千行百业,期待各行各业基于华为云的技术来创造出更多价值。
一、快速释放数据价值,华为云湖仓一体来解
我们正处于数据爆炸时代,全球数据量规模极速增大,多源数据成为常态,企业的海量数据亟需分析和挖掘,如何挖掘更深层的数据价值,是摆在开发者和企业面前的难题。
据华为云GaussDB(DWS)架构师黄海燕分析,在企业建设数据平台的过程中,面临以下挑战:一是平衡数据量、存储空间和计算效率等需要高维技术,二是仓-湖-AI数据形成孤岛,需通过数据隔离或数据迁移,均无法满足全量、敏捷等需求;三是技术选型上,开源产品丰富,但开发运维很难;四是数据准备工作复杂低效。
业界早已意识到以上难题,但如何解决思路有所不同。华为云采用产品组合的方式,打造出华为云数智融合平台,支撑企业数智化转型,涵盖 DataArts Studio 数据治理中心、MRS 云原生数据湖、DWS 云数据仓库、ModelArts AI平台、LakeFormation 智能湖仓。
其中,黄海燕详细分享 GaussDB(DWS) 的技术创新。 GaussDB(DWS) 分成标准数仓、实时数仓和IoT数仓,具备全栈全场景的能力,从商用规模、安全认证、性能比拼、行业影响力上,在国内首屈一指。支持从TD到Oracle、Hana、DB2 DPF等分析类数据库的全面升级。
在最新推出的云数仓3.0架构,支持存算分离、分钟级弹性伸缩、存储成本降低50%。实时数仓能力强,IoT数据实时入库,实时IoT数据与历史IoT数据关联分析,还提供GES图数据库。在计算上,支持虚拟机、BMS和物理机的部署;存储上,支持本地存储、EVS、OBS。GaussDB(DWS)云原生架构,实现“存算管”三层分离。同时保持极致弹性,支持湖仓一体,可跟 LakeFormation 元数据对接。数智融合,与AI生产线的无缝对接。优异性能,一体化性能优化,匹配传统数仓的性能体验。
目前,全球1700+大客户选择华为云 GaussDB(DWS),涵盖政府、金融、运营商、交通、能源等行业。
二、建设数据底座,赋能数据应用
传统的IT建设模式是根据业务需求而来,不同业务部分搭建不同的系统,如电商、财务、ERP系统等,这种烟囱模式存在一些弊端,这种建设模式,造成资源重复建设、底层数据资源无法共享、造成数据孤岛,无法统一管控等问题。
前碧桂园集团数据管理专家卢毅辉表示,搭建数据底座,通过统一的数据存储、统一模型、提供统一服务、统一目录来进行全生命周期的数据治理,确保提供的数据是标准、准确和高效的。借助数据底座,消除供给端数据孤岛、数据质量不高、数据不安全的问题。
数据底座的建设思路可总结为数据盘点、数据入湖、数据建模、数据治理、数据服务。数据盘点即将数据作为重要资产来盘点清楚,理清企业里的系统、数据、负责部门和负责人等关键信息;盘点清楚后,将所有数据统一集中到数据湖里。基于入湖的数据,来构建数据模型;在整个过程中,做好数据治理,最后一步是构建数据服务。
三、安心用数,华为云 DataArts Studio 是最优解
当前,许多企业正进行数字化转型,探究数字化转型的根本是构建数据驱动的体验创新、管理创新和模式创新。然而在落地的过程中,存在资源分散、数据不通、应用孤立等挑战,造成数据的孤岛和烟囱系统是阻碍企业进行数字化转型的核心问题。
华为云大数据技术专家王略表示,早在十多年前,华为内部已经开始做一些实践。通过数据治理得到清洁数据,“清洁数据”指统一口径、统一标准、统一模型,来成让数据运营效率得到大幅度提升,来实现“找得到、管的住、用得好”目标。
基于此目标,华为云打造出 DataArts Studio 一站式数据治理平台,通过人工智能技术来驱动数据治理越来越智能化、高效、便捷,最终实现高效和安全地挖掘数据价值。在统一的平台上,完成对数据的清洗、转换、存储,集成数据,数据开发,数据治理等工作,构建“找得到”的数据平台,“管得住”的数据质量和数据规范平台,“用得好”的数据服务和数据安全平台。
DataArts Studio 拥有全域全场景统一数据集成,一站式任务配置,全链路任务监控的优势。在全场景数据集成上,可一键集成全量数据、增量数据、实时数据。在数据开发上,通过一站式开发+上线+运维,统一开发环境来提升数据开发效率,还有低代码开发平台能大幅度提升开发人员的开发效率。
那么如何让数据变成资产,如何实现“找得到、管得住、用得好”?通过通过两层数据目录构建企业的数据资产体系,打造全局数据地图来解决用数的最后一公里问题,解决“找得到”问题;通过对数据资产生命周期管理,来解决“管得住”问题;通过打造完整的安全体系,让数据更加安全流通、应用。
同时他高屋建瓴地表示,未来持续提升数据治理效率,离不开AI4Data 技术,未来的演进方向是在AI层让质量管理、资产管理、安全管理越来越高效和智能。
值得一提的是,华为云对数据治理,不仅是提供 DataArts Studio 平台,还提供咨询、产品、实施三位一体的解决方案,帮助企业保障治理方案落地。
四、看见数据,观测流动
全知科技高级产品专家卓勇从“看见”数据,“观测”流动说起,探讨如何为企业数据安全流通保驾护航。
数据安全建设的思路遵循PDCA方法论,分为制度先行、组织建设、资产梳理、现状评估、风险监测、主动防御、统一运营等步骤。
在行业实践上,卓勇从“看见”数据,“观测”流动来分享对数据的资产梳理和风险监测。要想“看见”数据,需先对数据进行分类分级。这个过程涵盖建立分类分级标签目录,数据特征模型构建,数据资产底账接入等技术实践。
在“观测”流动中,达到对现状的梳理,使用数据的账号可管,数据漏洞可堵,数据台账可查,数据流动可见,数据场景可审,数据流调可溯,数据泄露可查。
五、精彩观点碰撞
在圆桌环节里,四位讲师黄海燕、卢毅辉、王略、卓勇《数智引领,技术助力企业决胜数字时代》话题,在科技访谈栏目《明说三人行》创始人卢东明的主持下,共同探讨在数智时代,如何让数据驱动智能决策,为企业提供高质量发展新思路,帮助企业和开发者决胜数字时代。以下为精彩嘉宾的观点:
王略观察到湖、仓的技术融合趋势,他表示数据湖正在吸收数仓的前沿理论和技术,将传统数据库里一些成熟、做得好的东西纳入到数据湖里统一管理。数仓也一样,如今华为云 GaussDB 可以实现数据存算分离、数据冷热,消除数据管理的瓶颈。在技术不断融合,我们希望无论是数据湖还是数仓,能在多套引擎上看到同一份数据,管理同一份数据,在一份数据上选择合适的场景来使用。
谈到如果企业当前架构是数仓的话,如何平滑过渡到湖仓一体? 卢毅辉表示,从数仓过渡到湖仓,可先分存量和增量数据。针对增量数据,如确定要过渡的,增量数据开始往湖仓体系接入。针对存量,如果涉及到的数据量较大,时效性要求较高,可以优先将它迁移到湖仓体系来,后续再慢慢将业务平滑到湖仓一体里,等两套系统并行使用一段时间后,才彻底将数仓去除。
谈到湖仓一体的下一步发展趋势,黄海燕表示,“仓湖智”(数仓、数据湖和AI)的一体融合,即数智融合,朝着 AI 技术使能数据,数据与 AI 结合的方向演进。
展望未来,卓勇表示,AI将会为数据安全领域带来变革,例如可以将过往大量的分析结果交给类chatGPT的大型语言模型,通过不断喂养,那么它将具备与传统风险分析不同的能力。在隐私计算上,AI也能提供一些助力。
卢东明也表示,今天从数据库到数仓,从数仓到数据湖,再到湖仓一体,大家都谈到 AI,希望未来可以为新的技术起名带有“主动智能”一词。人工智能如何主动管理、主动发现预测安全隐私、主动归纳整理数据,我希望未来能看到一个这样的智能数据管理平台。
最后,现场观众积极向台上讲师提问,进行不同的观点碰撞。
此次华为云企业快成长大数据技术创新论坛(深圳站)的成功举办,给开发者们提供了一个与技术专家面对面交流学习的机会,深入了解大数据的技术与实践,对大数据发展有了更清晰的认识。未来,华为云企业快成长技术创新论坛将继续走进更多城市,带来更多前沿技术分享,与更多开发者共话技术创新驱动企业高质量发展。
乘云创数,华为云企业快成长大数据技术创新论坛(深圳站)圆满落幕!相关推荐
- 华为云“企业快成长大数据与微服务技术创新论坛”成功举办
6月16日,由华为云.msup.厦门火炬大学堂.厦门市行业软件协会联合主办的"企业快成长大数据与微服务技术创新论坛"在厦门成功举办.本次活动汇聚了华为云.珍爱网等知名企业的CTO和 ...
- 华为云企业快成长技术创新论坛全国巡演北京首站圆满落幕
4月15日,华为云联合msup举办的"企业快成长大数据技术创新论坛北京站"圆满举办,100余位来自全国各地的大数据技术总监/技术经理/研发工程师共聚一堂,共探数据湖的架构演进,数据 ...
- 华为云打造农业农村大数据解决方案
数据.算力强支撑,佳格天地联合华为云打造农业农村大数据解决方案 日前,华为云"828 B2B企业节"盛大开启.农业农村大数据应用企业佳格天地联合华为云推出"测亩宝&quo ...
- 《一张图看懂华为云BigData Pro鲲鹏大数据解决方案》
8月27日,华为云重磅发布了业界首个鲲鹏大数据解决方案--BigData Pro.该方案采用基于公有云的存储与计算分离架构,以可无限弹性扩容的鲲鹏算力作为计算资源,以支持原生多协议的OBS对象存储服务 ...
- 昂贵、复杂、低效...中小型企业如何打破大数据技术栈困境?
大数据已经成为当代经济增长的重要驱动力 数字经济,已经成为当今经济发展中非常重要的一部分. 与农业经济.工业经济如出一辙,数字经济活动需要土地.劳动力.资本.技术以及相应配套基础设施.不同之处在于:第 ...
- 创新、成长、基础能力全面领先,华为云领跑中国大数据厂商
[摘要] 近日,国际权威分析机构弗若斯特沙利文Frost & Sullivan(以下简称"沙利文")发布了<2020年中国数据管理解决方案市场报告>,对中国主流 ...
- 华为云位居IDC中国大数据平台市场研究报告第一
近日,全球领先的IT研究和咨询公司国际数据公司(IDC)最新发布<中国大数据平台市场研究报告-2020>,报告显示:2020年中国大数据平台软件市场规模92.2亿元人民币,华为云凭借Fus ...
- 华为云-基于Ambari构建大数据平台
1第 1 章 搭建学习环境 1.1 工具软件连接 1.1.1xshell 连接工具 打开 xshell 工具,点击连接配置对话框,填写主机名和公网 IP. 在用户认证选项卡中,填写登录用户名和密码. ...
- 【年度榜单】2020大数据产业创新服务企业丨数据猿·金猿榜
数据猿&金猿出品 <2020数据猿年度金猿主题策划活动>之2020大数据产业创新服务企业榜丨"数据猿&金猿--金猿榜·金猿奖"年度巨献! 大数据产业创新 ...
最新文章
- 上下定高 中间自适应_联合首发|医药供应链平台一块医药获新一轮融资,赋能产业上下游提质增效...
- Dubbo框架设计原理
- 硬核!如何在 Github 精准搜索开源项目?
- Matlab之eval函数
- Exp5 MSF基础应用 ——20164316张子遥
- 2Y叔的clusterProfiler-book阅读Chapter 2 Functional Enrichment Analysis Methods
- python实现简单爬虫功能
- 多个时间合并并集mysql_写个 Go 时间交并集小工具
- 线性代数知识点汇总:行列式和矩阵
- 学习笔记——直流电机调速器
- python之微信自动恢复
- CCF 区块链国际会议 统计 有哪些接收区块链论文的会议 (最全)
- 天啦噜!知道硬盘很慢,但没想到比 CPU L1 Cache 慢 10000000 倍
- 复旦大学计算机考研资料汇总
- java生成自增单号(字符+日期+数字)
- 一、Linux 教程-基础
- Debian系下载deb安装包及依赖包
- RFID射频技术基本原理与射频技术中的基本单位
- pandas基本数据对象及操作(DataFrame篇)
- P5195 [USACO05DEC]Knights of Ni S