华为云企业快成长技术创新论坛全国巡演北京首站圆满落幕

4月15日，华为云联合msup举办的“企业快成长大数据技术创新论坛北京站”圆满举办，100余位来自全国各地的大数据技术总监/技术经理/研发工程师共聚一堂，共探数据湖的架构演进，数据治理方法论及最佳经验实践。

首先由华为云大数据人工智能领域总裁尤鹏为大家致辞。他表示，为解决企业在AI落地时面临的挑战，华为云在“一切皆服务”的基础上不断夯实技术、平台、应用的能力，帮助降低AI应用门槛，让AI技术随取随用。

华为云大数据人工智能领域总裁尤鹏

同时，华为提供了轻量化的数据治理的解决方案；也在做和最新NLP技术相结合的一款轻量化的BI产品；华为自研的DWS是基于生态OLAP组件来做的，可以方便、免运维、开箱即用得赋能给客户。

正如尤鹏所言：“华为云数智融合平台，通过数据治理生产线DataArts和AI开发生产线ModelArts融合的‘双引擎’，为企业与组织提供数据全链路解决方案，加速企业数智化转型。”

随后，华为云大数据技术专家王略为大家带来了《华为云湖仓一体现代数据栈解读》的干货分享。

华为云大数据技术专家王略

华为内部目前在用湖仓一体架构，可以实现秒级业财控制、分钟及报表，还可以稳定支撑华为ERP业务。但许多企业在进行数据管理时，会面临一系列的挑战，这其中包括技术门槛高、投入成本大、数据治理难等三大问题。

针对这些挑战，王略为大家详细的讲述了DLI（Serverless多模计算服务，批、流、交互式一体，免运维、开箱即用）、DataArts Studio（一站式数据治理运营平台，AI驱动数据治理智能化，安全高效实现数据价值发掘）、CloudTable（全托管的Doris引擎，实时、简单、高效），他们共同构建了Serverless湖仓一体架构，且具备省心、轻量、可持续演进的特点。

最后，他通过云鲸智能的案例，为大家分享了华为云基于Serverless的数据湖在企业/行业的成功实践，希望这些落地实践可以帮助企业更好的支撑企业内部的数据分析和数据决策。

紧接着，Apache hudi Committer&Apache Druid Committer 张越为大家分享了《基于Hudi的Lakehouse Ingestion 性能优化探讨》的话题。

Apache hudi Committer&Apache Druid Committer 张越

张越从Hudi基本特性、Hudi Upsert 数据的过程、Hudi Ingestion的性能优化(RFC-53)、Early Conflict Detection 对Hudi Multi-Writer的优化(RFC-56)等四个方面进行了详述。

Apache Hudi是一个Data Lakes的开源方案，能够支持TB甚至PB量级的行级别更新。张越表示，如果在计算层能够保证records是唯一的，那么可以设置
hoodie.combine.before.upsert false 关闭Dedupe Stage，从而避免不必要的ReduceByKey 全局shuffle操作；同时，可以根据业务特点选择恰当的Index方式: BloomIndex、SimpleIndex、BucketIndex以及HBase Index等。

从Create Marker阶段到Merging && Writing Data Files再到RFC-53 && HUDI-5023 && HUDI-3923及Spark Streaming bulk_insert aggregated data into Lakehouse + clustering阶段的原理图及实施步骤，张越给大家做了详细的分享。

在工业生产过程中，随着数据量的不断增加，以及对于时效性要求不断提升，这种文件数据多写入湖的需求已经成为了一种刚需。在Hudi的世界里，关于如何支撑Multi-Writer以及Multi-Writer当下存在的问题，张越也为我们做了详细的解答，参会者纷纷表示受益匪浅。

华为云DataArts Studio产品专家李品新为大家带来的《华为云DataArts Studio助力企业高效管数用数，发掘数据价值》精彩话题火爆整场。

华为云DataArts Studio产品专家李品新

华为在做数据管理经过了两个阶段，第一是通过10多年的时间去把所有的业务数据做一个数字化，然后形成统一的清洁数据，支撑企业更好出各种各样的报表。这个阶段它主要目标是业务的数字化，第二是提升数据质量，所有数据都存在的情况下华为构建了统一的数据底座。这个数据底座上通过建立各种数据的连接，最终形了企业统一的数据地图，可以支撑企业快速数据分析。

为了实现数据治理的目标，华为提供有多种计算引擎，以及支撑。计算引擎包含Serverless化的DLI数据湖探索、MRS云原生数据湖、DWS云数据仓库、CSS云搜索和GES图计算等。

DataArts Studio是基于这些计算引擎之上做数据集成、数据开发、数据治理、数据服务全流程的各种工具支撑。它有如下特点：

• 具备全域全场景统一数据集成，一站式任务配置，全链路任务监控

• 全场景数据集成，全量数据、增量数据、实时数据一键集成

• 一站式开发+上线+运维，统一开发环境提升数据开发效率；批量作业、实时作业、AI作业开发调试，多样作业统一编排调度

• No Code数据分析和探索，Auto-ETL大幅降低数据分析门槛；还可以基线运维，围绕核心作业链路高效运维，保障关键任务及时完成

• 两层目录构建企业级数据资产体系，数据地图解决用数最后一公里问题

• 全局数据地图，让用户更好的查找、理解和使用数据资产，高效用数

• 数据资产生命周期管理，降低数据使用成本

• 统一策略配置，主动权限申请，多种手段保护数据资产安全

• 安全与效率兼顾，开发与生产环境隔离的两种实践，硬隔离与软隔离

• AI4Data驱动全流程自动化、智能化，提升数据治理效率

分享的最后，李品新表示，通过自动化的手段，华为整个数据处理过程中效率提高特别多，整个华为云对于数据治理的方案，除了提供产品，还提供了实施的能力，我们可以基于华为产品提供的能力进行一些咨询规划，将整个数据治理落地下去。

作业帮中台产研中心数据仓库技术负责人严晓炜为大家带来了《作业帮数据治理体系的思考与实践》的主题分享。

作业帮中台产研中心数据仓库技术负责人严晓炜

随着业务的高速发展以及数据分析体系的日益完善，数据成为业务日常运作中重要的指南针和风向标；另一方面，数据和指标的日益膨胀，导致数据质量、数据易用性、存储成本等方面的问题层出不穷。如何能够最大限度发挥数据的价值，更加合理的使用计算存储资源，成为我们共同面临的新挑战。

基于这些问题，严晓炜从数据生产环节的指标和数据模型的构建、元数据管理和血缘分析、数据质量和数据安全、以及配套平台的建设等方面，详细阐述了作业帮整套数据治理解决方案和落地实施的过程，如何覆盖数据全生命周期，做到数据准确易用，成本透明可控。同时，结合作业帮业务的战略转型，从野蛮生长到精细化治理，他总结出了数据治理能够成功的4个基本关键点：

1、数据建设标准和规范落地是数据治理的基础，制定一套通用完善的数据建模标准和开发规范并推广业务数仓研发使用是后续数据治理的前提条件

2、数据的准确性、稳定性和时效性是数据治理的核心，通过建设数据质量管理平台等数据治理工具，为业务提供稳定可信赖的数据服务

3、数据ROI评估是数据治理的主要抓手，通过打通数据生产全链路，客观评估数据价值，自动识别冗余数据和无效任务，为后续的计算、存储资源治理提供依据，从而抑制数据成本的无序增长

4、建立数据开放共享机制是最大化数据价值的重要手段，在保障数据安全可用的前提下，降低数据获取门槛、增强数据易用性从而充分发挥数据的价值。

最后，中软国际数据治理高级架构师单晓明分享了《中软数据治理交付，构筑高效数据管理和客户价值共赢》话题，话题主要围绕中软国际公司介绍、数据治理解决方案、数据治理全流程、数据治理企业价值四部分展开的。

中软国际数据治理高级架构师单晓明

在给企业做数据治理项目交付的过程中，中软发现有一些问题（数据管理组织方面、数据标准方面、数据质量方面、数据安全方面、生命周期管理方面），基于这些问题，他们首先会与企业达成一致的是共同的愿景，即：数据是作为企业战略的核心资产，其次会与企业沟通中软的使命、目标、以及解决方案。

基于整个数据治理的整个生命周期，从元数据开始到数据标准，数据质量，再到数据集成，帮助企业最终形成一个数据资产，去提升自身的价值。

关于数据治理流程，单晓明表示，通过大量的调研后，我们总结出了数据治理的九个阶段，在这个基础上，中软国际有专门的行业级专家，帮企业做一个大的梳理调研，看企业有哪些数据，这些数据最终能达到什么样的效果。同时，他还为大家分享了帮助电影院企业数据治理的例子以及治理过程中实施的具体流程。在这过程中，中软用了华为的DataArts Studio，帮助客户做了整套数据治理的架构设计、业务流程、逻辑关系、接口梳理、主题设计、标准设计、逻辑分层，最终帮助客户实现了自动对账和第三方渠道自动对账，收入核算、收入结算自动化的动作。

单晓明还为我们分享了多个数据治理项目的落地案例及解决方案，数据治理聚焦企业价值实现，实现IT生产力的提升和价值的最大化。

本次论坛在热烈的讨论和意犹未尽中落下帷幕。大数据正在推动中国经济实现高质量发展，并深刻影响人民生活和进步，华为云将持续秉承“一切皆服务”战略，不断夯实技术、平台、应用的能力，帮助降低AI应用门槛，让AI技术随取随用。华为云也将联手更多生态伙伴，共建更多优质解决方案，助力千行百业云上创新。

华为云企业快成长技术创新论坛全国巡演北京首站圆满落幕相关推荐

乘云创数，华为云企业快成长大数据技术创新论坛（深圳站）圆满落幕！
4月22日,由华为云联合CSDN举办的"企业快成长大数据技术创新论坛"顺利在深圳召开,来自华为云.全知科技等企业专家和知名意见领袖齐聚一堂,分享湖仓一体.数据安全等前沿技术话题,并 ...
华为云“企业快成长大数据与微服务技术创新论坛”成功举办
6月16日,由华为云.msup.厦门火炬大学堂.厦门市行业软件协会联合主办的"企业快成长大数据与微服务技术创新论坛"在厦门成功举办.本次活动汇聚了华为云.珍爱网等知名企业的CTO和 ...
【全局盘点】华为云政企全栈技术创新能力图谱
IDC研究显示,企业数字化转型已经进入深水区,截至2018年,70%以上的中国Top1000大企业都将数字化转型作为公司的战略核心.如何组合利用最新的数字技术支持业务创新.克服数字化转型面临的挑战.打 ...
“‘拥抱趋势，蓄能跃迁’——2018慧点科技企业协同及治理创新论坛”圆满举行...
8月10日,由北京慧点科技有限公司主办,太极计算机股份有限公司指导的"'拥抱趋势蓄能跃迁'-- 2018慧点科技企业协同及治理创新论坛"于中国电科集团太极信息产业园区隆重召开. ...
华为云企业主机安全服务之“网页防篡改”：拒绝网页变脸，服务实时在线
网页篡改不息,不良影响连连 2019年上半年,国家互联网应急中心(简称"CNCERT")监测发现并协调处置我国境内遭篡改的网站近4万个,其中被篡改的政府网站有222个.与2018年 ...
年度发布｜华为云2021应用构建技术实践精选集，免费下载
摘要:围绕极简工具和技术使能,精心遴选云原生.大数据.数据库.AI.物联网等领域的典型云上场景化开发实践,跑通云上开发. 本文分享自华为云社区<年度重磅!华为云2021应用构建技术实践精选集,免 ...
华为云学院干货：服务创新大舞台在这里！
华为云学院干货:服务创新大舞台在这里! Service Stage--一站式微服务云应用DevOps平台.新时代带来新机遇,同时企业IT系统也面临前所未有的挑战.伴随传统业务云化,海量用户进入,访问量 ...
饥荒联机云服务器_GAMETECH腾讯云游戏行业技术沙龙成都站圆满落幕
11月13日,由腾讯云主办.游戏茶馆协办的2020年首场GAME-TECH腾讯云游戏行业技术沙龙在成都圆满落幕. 在一款游戏的运维过程中,游戏开发者们很有可能会遇到游戏服务器过载.游戏数据存储与游戏数 ...
华为云新加坡峰会发布CloudAI创新实验室，四大核心优势助力智能化升级
[新加坡,4月24日]4月24日-25日, 2019华为云新加坡峰会在新加坡召开,来自新加坡及亚太区域的近2000名客户.伙伴.产业界学术界人士.开发者,就云计算.人工智能(AI).大数据等方面的创新 ...

华为云企业快成长技术创新论坛全国巡演北京首站圆满落幕

华为云企业快成长技术创新论坛全国巡演北京首站圆满落幕相关推荐

最新文章

热门文章