海量数据及多云环境下，数据库运维、分布式转型、国产化改造实践丨DAMS峰会

随着大数据与云原生的相互碰撞，各技术领域的新一波挑战和创变正以迅雷之势向我们宣战。利用云原生技术的简便快捷、动态调度、按需伸缩等优势，如何加速大数据基础软件和系统的迭代更新频率、确保整体环境的最终一致性，如何为数据库提供极致的性能、弹性和无限扩展能力，以及由此带来的运维模式转型该如何应对，以上种种，都是我们当下需要率先突破的课题。

为了和大家一起探索大数据与云原生强强联合的方式、挖掘由此激发的软件发展和技术进步，第八届DAMS中国数据智能管理峰会将于2022年12月02日在上海举办，携手京东、美团、字节、蚂蚁、网易、新浪、携程、唯品会、哔哩哔哩、vivo、工商银行、平安银行、光大银行等产研界技术领跑单位，带来大数据、数据资产管理、数据治理、数据库、运维、金融科技等领域的先进理念和最佳实践。

DAMS中国数据智能管理峰会

时间：2022年12月02日

地点：国家会展中心上海洲际酒店（上海市青浦区诸光路1700号）

指导单位：中国信息通信研究院、上海市软件行业协会、上海市计算机行业协会

主办单位：dbaplus社群

演讲嘉宾及议题先睹为快

01 主会场

攻克企业数智化难题，打造发展新引擎

适听人群：CEO、CTO、CIO、COO、技术总监、IT经理、数据架构师等企业决策者和战略布局者

《面向工业应用的时序数据管理和分析系统》

复旦大学教授/博导王鹏

时序数据分析和挖掘是工业大数据处理的重要环节，现有时间序列数据库主要支持数据快速读写和简单聚集查询，通用时序分析工具主要关注预测和异常检测等单一分析功能，领域时间序列分析工具支持更丰富的分析手段，但不具有数据库能力。本次分享将介绍团队在工业时间序列管理和分析系统方面的实践探索，具体包括以下内容：

介绍工况切分、关联分析等若干典型的工业时序分析算法；
从数据管理、算法库、分析流程搭建等方面介绍系统的整体架构和核心模块。

《大型企业运维数字化转型探索与实践》

新炬网络董事/副总经理程永新

《国产数据库GaussDB迁移实践（拟）》

华为云数据库服务总经理苏光牛

《湖仓一体助力平安产险数字化转型（拟）》

中国平安财险产险总部科技中心数据智能平台总经理谢文峰

保险数据呈现大规模、多样性的极速增长，看数用数也愈加要求高时效和高精准。但大多数企业数据应用方式仍较为传统，用户找数取数难，数据化运营少。为了应对多变的业务数据时效诉求和数据离散难管理，我们打破数据湖与数仓间的壁垒，构建实时的数仓一体架构，使得割裂数据融合统一，减少数据分析中的搬迁，实现统一的数据管理，同时增强业务数据时效，更好为业务赋能。

*更多主会场演讲嘉宾及干货议题在路上，持续更新……

02 大数据

背负海量数据，如何踏上实时且灵活的高速列车

适听人群：数据开发、数据架构、大数据平台研发/运维、数据/算法工程、云原生研发等从业人员

《京东零售多维分析存算分离的云原生实践》

京东 OLAP团队负责人李阳

云原生时代下，提供可快速交付、可弹性伸缩的多维分析服务，同时满足高可用、高性能的诉求已经成为业界共同发展的方向。本次分享将主要介绍京东零售多维分析服务在云原生建设过程中的经验、思考与展望，具体包括以下内容：

OLAP云原生建设思路；
存算分离选型与落地；
智能化运维实践。

《云原生离线在线资源混部技术落地》

携程研发总监周昕毅

介绍基于K8S平台进行离线计算集群与在线应用集群的资源混部的技术方案，具体包括以下内容：

Yarn on K8S；
云原生网络模型；
统一资源调度；

数据湖Hudi落地的相关技术和迭代改进；

增量ETL流程如何依赖数据湖相关技术落地。

如何基于Iceberg建设湖仓一体架构；

在数据分布、索引、预计算等多方面增强优化，提升数据分析效率，降低分析成本的实践经验。

《实现数据价值最大化的新一代数据编织架构》

丹诺德软件华东区业务总监周剑魂

主要介绍一种新型的数据纺织架构，帮助企业摆脱传统数据管理及消费模式的束缚，释放更多生产力，分享具体包括以下内容：

如何利用元数据逻辑架构搭建的最新一代数据中台，使数据贴近数据源进行计算、消费及实时呈现相关数据报表；

企业如何利用便捷的数据分享方式，打通行业上下游的物理瓶颈，达到数据协作的功效；

如何最大化实现数据的内在价值。

*更多大数据主题演讲嘉宾及干货议题在路上，持续更新……

03 数据治理&数据资产管理

合规、高效、可重用，如何充分发挥数据价值

适听人群：数据治理、数据管理、数据分析、数据资产管理、数据安全、数据中台建设等从业人员

《平安集团数据中台体系建设实践》

平安科技副总工程师姜欣

平安集团建设数据中台的目的，一方面是整合内外数据能力，形成合力更全面立体高效地赋能全业务；另一方面是建设合规高效的数据管理及运营体系，加强对数据资产的管控和治理，保证数据使用的合规安全。本次分享内容具体如下：

当前数据合规管理的现状和问题；

解读国家和监管法律法规对责任主体，在数据确权、数据资产管理、数据使用方面的要求；

基于合规底线框架，如何构建企业数据管理和运营体系，高效促进数据要素的流动；

数据管理和运营体系需要哪些技术平台支撑，如何设计规划。

《网易严选全链路数据治理实践》

网易严选数据总监左琴

介绍网易严选在数据治理的方法论和落地实践，通过对整个生命周期的数据、任务、服务组件的治理，保障数据稳定、高质量地进行生产，并推进整体资源优化，以及大数据平台的演进，具体包括以下内容：

如何提升数据体系的可观测性、可运维能力以及稳定性；

如何更高效、低成本地进行数据治理，发现和减少数据系统的腐化问题。

《数据赋能决策：构建可重用的数字资产》

汇丰软件数据工程主管李昂

了解数据在企业中是如何关联的，才能将数据转化为可重用的数字资产，并生成可操作且有价值的见解，本次分享主要以汇丰为例，具体包括以下内容：

实体解析作为其中的关键，是确定多个记录是否引用相同的现实世界事物的过程；

实体解析从内外部来源获取多个不同的数据点，并将它们解析为一个唯一的实体；

有了唯一的实体，企业就可以使用这个结果来关联不同数据，增强或自动化决策，进而更快、更准确地识别和做出各种决策。

《快狗打车数据仓库建设与演进之路》

快狗打车数据仓库团队负责人申琦

快狗数据仓库经过多年建设迭代，积累了丰富的落地经验，本次分享将会和大家一起交流快狗数据仓库的技术建设和未来演进方向，具体包括以下内容：

数据仓库的技术架构选型；

数据仓库如何更精细化地管理企业数据资产；

数据仓库如何更好地赋能企业业务发展；

如何做好面向未来的数据建设。

《大数据在微众银行数据管理和应用方面的思考和实践》

微众银行存款科技高级数据开发工程师邹普

介绍微众银行在数据管理和应用方面的思考和沉淀，通过对数据资产从数据的生成、加工、管理、应用等全链路的治理，更好、更高效地对业务赋能、对成本把控，节省数据管理人力投入，更高要求地对数据进行价值挖掘和应用，具体包括以下内容：

微众银行大数据IT架构；

大数据应用于金融行业面临的一系列挑战；

微众银行数据仓库在监管高要求下的架构设计、数据管理、数据应用的探索；

微众银行在海量实时数据应用上的破局之道。

*更多数据治理&数据资产管理主题演讲嘉宾及干货议题在路上，持续更新……

04 数据库

海量数据及多云环境下，数据库如何突破瓶颈

适听人群：DAB、数据库开发/运维、分布式数据库、时序数据库、中间件等从业人员

《数据库故障分析&性能优化平台建设》

美团数据库自治服务团队负责人沈裕锋

分享如何基于MySQL源码的分析来快速、准确定位故障根因以及通过改造MySQL查询优化器源码，基于Cost模型自动给出风险SQL的索引优化建议，具体包括以下内容：

快速、精准地做数据库故障根因分析；

快速发现潜在的风险SQL并自动给出索引优化建议；

AIOps在数据库领域的探索及落地经验。

《从蚂蚁集团数据库演进之路看未来数据库的选择》

OceanBase 泛互联网&海外架构师负责人弓子介

本次分享主要介绍蚂蚁集团发展过程中基础设施面临的问题与挑战，以及如何基于OceanBase构建蚂蚁统一存储架构，同时在容器化、单元化、异地多活、大促弹性、智能运维上沉淀的实践，并提供以下启发：

解决规模化运维带来的DBA时间碎片化与业务连续性风险；

业务单元化与异地多活建设思路；

破解业务高速发展的不确定性与基础设施建设成本的矛盾。

《海量metrics时序数据的分布式计算演进之路》

字节跳动可观测性时序数据库负责人高英举

从单机到分布式、从开源到自研，字节跳动在可观测性领域的海量metrics时序数据库逐步构建出了一套相对完善的分布式计算与存储的时序数据处理能力。本次分享主要包括以下内容：

如何应对可观测性领域的海量metrics数据；

如何整体设计分布式的metrics系统；

如何设计与实现metrics查询的分布式计算。

《货拉拉混合云环境下的数据库中间件建设之路》

货拉拉数据库中间件团队负责人林静

随着单体架构向微服务架构演进、单云环境向混合云环境的过渡，DB层稳定性建设迎来了全新挑战。静态的某个DB长期稳定运行已不能满足企业要求，新的稳定性体系必须是能够应对海量存储以及频繁表结构变更、数据迁移、容量扩缩容的反脆弱稳定性体系。本次分享主要包括以下内容：

如何在云RDS的HA机制上锦上添花；

结合中间件如何实现业务无感的数据库拆分迁移；

为什么我们需要在云环境下“留一手”。

《基于开源SQLE的SQL质量管控方案》

爱可生华东技术服务总监张沈波

通过SQLE方案的拆解，分享如何实现高质量的SQL质量管控，实现信创背景下多种类数据库的自动SQL审核、自动流转，达成减轻DBA工作量、减少跨部门沟通成本的效果。分享具体包括以下内容：

如何对多种类数据库进行SQL审核上线；

如何对SQL做事前审核、事中监控、事后分析；

SQL审核到底审些什么；

如何让一个SQL审核工具和内部流程对接协作。

*更多数据库主题演讲嘉宾及干货议题在路上，持续更新……

05 运维

云原生赛道竞速，运维转型要做的远比想象的多

适听人群：应用运维、业务运维、智能运维、算法、SRE、大数据平台研发/运维、云原生研发/运维等从业人员

《新浪智能数据分析平台建设》

新浪部门主管高鹏

随着大数据和AI技术的普及，越来越多的技术领域开始与之结合，并碰撞出了耀眼的火花。我今天介绍的主题，就是从运维角度，利用大数据技术、算法以及数据科学，帮助运维同学打造“千里眼、顺风耳”，提升工作效率，提升运维质量，降低服务成本。

《vivo业务高可用建设实践》

vivo 业务运维总监周甲黎

随着业务高速发展，vivo对稳定性的诉求越来越高，面临着机房可用性、业务强耦合等多方面的挑战，本次分享将基于这些业务挑战，给大家带来一些高可用建设的新想法和建议，具体包括以下内容：

影响业务稳定性的因素；

高可用建设的常用方法；

在业务标准化、高可用架构应用、预案演练及复盘等四个方向做的重点建设、沉淀的运维方法，尤其是高可用建设的具体落地实践。

《工商银行规模化监控系统落地实践》

工商银行数据中心系统三部副总经理胡继强

介绍工行全球总分行组织模式下，两地三中心高可用布局的监控体系结构，以及超十万级纳管服务器规模的监控数据采集、处理、预警、通知和自动化处置的方法，具体包括以下内容：

工行开放平台的监控体系；

如何适应云环境、分布式、国产化等规模化、差异性的挑战；

未来，监控系统将何去何从。

《京东科技全链路故障诊断智能运维实践》

京东科技智能运维算法高级经理张静

本次分享将介绍京东科技智能运维整体能力、传统运维与智能运维在故障预警到根因定位的直观比对时间轴，以及智能运维建设的价值。还将详述时序异常检测算法学件在京东科技线上横向业务场景，纵向监控、数据库、网络、资源调度等多个场景的落地经验，并提供以下启发：

运维算法学件建设经验，持续化迭代训练体系搭建方案；

运维算法学件与真实运维场景落地结合的实践经验；

IEEE智能运维方向论文收录经验，知识产权创新点挖掘方法。

《运维数据价值升级：基于SLO健康度体系探索与实践》

蚂蚁集团 AIOps技术专家徐新龙

SLO为应用的服务质量定义了明确的目标，帮助团队提供一致的客户体验、平衡功能研发与平台稳定性，改善与内部和外部用户的沟通。本次分享将以蚂蚁集团内部实践为例，介绍如何从0到1构建SLO、如何将AI结合SLO使数据发挥更大价值，以及基于SLO的健康度体系在运维场景下的成功实践，并提供以下启发：

结合实际场景和需求，定义SLO的意义和出发点；

通过标准化设计，构建自动化能力，提升规模和场景覆盖，简化SLO配置的复杂度和费力度；

将SLO应用到日常的应急场景中，结合AI算法在异常检测、故障定位、预案推荐等场景下的使用，提升应急能力和效率。

*更多运维主题演讲嘉宾及干货议题在路上，持续更新……

06 金融科技

金融科技新布局：如何从科技赋能迈向科技引领

适听人群：银行/金融机构CIO/CTO，金融科技战略规划、大数据架构设计、金融科技应用研发/运维、金融业务系统研发/运维等从业人员

《光大银行实时数据仓库应用实践》

光大银行大数据平台运维负责人侯强

介绍光大银行大数据平台的发展历程，具体包括以下内容：

初期规划、发展现状、未来计划；

金融行业数据仓库如何建设既满足业务需求，又符合金融要求的应用实践。

《工商银行分布式转型实践》

工商银行软件开发中心二级经理郑楚钢

本议题主要介绍工商银行主机业务服务化背景、规划、建设方案，以及在服务化产生的事务问题上的解决方案，分享事务模型在工商银行常见业务场景中的适配、工商银行主机业务分布式转型的成效，并提供以下启发：

传统银行在主机业务下移过程中都遇到哪些问题、如何解决；

大量传统主机业务陆续迁移到分布式平台，IT架构如何转型；

分布式事务模型如何适配常见银行场景，又有哪些问题、如何解决；

《云数据中心的移动化和无人化运维探索与实践》

华夏银行信息科技部中间件维护组组长魏中伟

主要介绍华夏银行云数据中心在向“四层三域一中台”架构演进的过程中，对移动化和无人化运维的探索路径和经验总结，具体包括以下内容：

华夏银行云数据中心的“四层三域一中台”运维架构是如何构建的；

华夏银行构建移动化运维体系的搭建方案、安全措施、最新成果；

华夏银行无人化运维的实现方案、经验总结、最新成效和未来计划。

*更多金融科技主题演讲嘉宾及干货议题在路上，持续更新……

福利：DAMS中国数据智能管理峰会主会场门票免费拿！

12月2日，来DAMS中国数据智能管理峰会-上海站，大家一起探索大数据与云原生强强联合的方式、挖掘由此激发的软件发展和技术进步。

演讲嘉宾所在单位：京东、美团、字节跳动、蚂蚁集团、网易、新浪、携程、唯品会、哔哩哔哩、vivo、货拉拉、工商银行、平安银行、光大银行、华夏银行、汇丰科技等产研界技术领跑单位。

演讲议题聚焦：
大数据&数据资产管理：数据治理丨存算分离丨云原生OLAP丨湖仓一体丨智能分析
数据库：云原生分布式丨时间序列丨服务自治丨中间件
运维：AIOps丨故障分析丨性能优化丨离在线混部丨高可用建设
金融科技：规模化监控丨实时数仓丨分布式改造丨国产化替代丨数字化转型

主会场限时免费，仅限10人，先到先得！

海量数据及多云环境下，数据库运维、分布式转型、国产化改造实践丨DAMS峰会相关推荐

海量数据及多云环境下，数据库运维、分布式转型、国产化改造实践丨DAMS峰会（文末有福利）
随着大数据与云原生的相互碰撞,各技术领域的新一波挑战和创变正以迅雷之势向我们宣战.利用云原生技术的简便快捷.动态调度.按需伸缩等优势,如何加速大数据基础软件和系统的迭代更新频率.确保整体环境的最终一致 ...
云原生背景下的运维价值思考与实践
作者:刘天斯,腾讯游戏高级工程师前言随着公司自研上云战略如火如荼地进行,IEG-增值服务部作为较早一批响应的团队,截止目前自研上云已完成1/3的流量切换,日PV超百亿.切云的服务大量采用了云原生的 ...
阿里云注册集群+Prometheus 解决多云容器集群运维痛点
作者:左知容器集群可观测现状随着 Kubernetes(K8s)容器编排工具已经成为事实上行业通用技术底座,容器集群监控经历多种方案实践后,Prometheus 最终成为容器集群监控的事实标准. ...
解密京东618大促数据库运维的攻守之道
来自:DBAplus社群本文根据高新刚老师在[2019 DAMS中国数据智能管理峰会]现场演讲内容整理而成. 讲师介绍高新刚,京东数科数据库团队负责人,负责京东数科数据库平台的管理维护工作,带领团 ...
容器 PaaS 新技术架构下的运维实践
2018年11月16-17日,运维&容器技术盛会 CNUTCon 全球运维技术大会在上海·光大会展中心成功举办.时速云联合创始人兼 CTO 王磊受邀参加此次大会,并发表主题演讲. 王磊此次演讲 ...
龙图 VP 李翀：数据化运营及云计算下的运维
文 | 龙图 VP 李翀原文地址:当游戏遇上大数据和云计算--谈数据化运营及云计算下的运维龙图做了8年的游戏,真正快速发展起来是在移动互联网这个时代.随着刀塔快速的扩张,我们在各个领域都遇到了非常 ...
美团数据库运维自动化系统构建之路
本文整理自美团点评技术沙龙第10期:数据库技术架构与实践. 美团点评技术沙龙由美团点评技术团队主办,每月一期.每期沙龙邀请美团点评及其它互联网公司的技术专家分享来自一线的实践经验,覆盖各主要技术领域. ...
微博热点事件背后数据库运维的“功守道”
作者 | 张冬洪责编 | 仲培艺 [导语] 微博拥有超过3.76亿月活用户,是当前社会热点事件传播的主要平台.而热点事件往往具有不可预测性和突发性,较短时间内可能带来流量的翻倍增长,甚至更大.如何快 ...
2020，分布式架构会给传统数据库运维带来哪些变化？
摘要:分布式架构可能是近几年最火的话题.从集中式.SOA到分布式架构,本文回顾了这些年金融行业经历的架构演变:结合当下一些较典型的分布式数据库的实现原理,分析了分布式数据库的三个发展阶段.分布式数据库 ...

海量数据及多云环境下，数据库运维、分布式转型、国产化改造实践丨DAMS峰会

海量数据及多云环境下，数据库运维、分布式转型、国产化改造实践丨DAMS峰会相关推荐

最新文章

热门文章