近年来,随着硬件算力设备和算法模型的标准化及人工智能、云计算等软件技术的成熟化,带来了爆炸式的数据增长,数据也逐渐成为最不可控的变量。数据处理的需求与技术难度在不断增加,促使数据库技术在发展中创新,在创新中应用。

为了推动数据库技术应用的进一步落地,10 月 25 日由湖南省工业和信息化厅、湖南湘江新区管理委员会指导,长沙市工业和信息化局、长沙信息产业园管委会和 CSDN 联合主办的“2022 长沙·中国 1024 程序员节”,特设了“数据库技术及应用实践”主题论坛,共邀请到了 5 位数据库领域的资深技术专家,他们就数据处理技术创新与最佳实践进行了演讲分享。

《数据库技术及应用实践论坛》精彩回放:https://live.csdn.net/room/csdnlive1/POSV3mbm

演讲嘉宾包括:

  • 胡 俊 达梦数据库产品服务中心副总经理

  • 程 祺 巨杉数据库SequoiaDB首席架构师

  • 李月飞 浪潮开务数据库高级技术总监

  • 张文亮 华为云数据库创新Lab主任

  • 李进峰 望繁信科技联合创始人兼CTO

技术引领、创新驱动,分布式数据库实践探索

随着大数据时代的到来,互联网的作用已逐渐从简单的数据交流和信息传递上升到基于海量数据的分析,在新的挑战和机遇下,达梦对分布式技术进行了大量探索。

达梦数据库产品服务中心副总经理胡俊介绍了达梦数据库从上世纪 80 年代的单机数据库,到如今其分布式数据库架构的不断迭代:

  • 第一代分布式 DM MPP 具有可扩展、高性能的特点,支持并行处理并优化了数据存储,但高速、可扩展、高可用、元数据分布在所有节点上,扩展方式比较复杂、数据分布方式不灵活,不擅长高并发短事务交易。

  • 基于 DM MPP 的不足,达梦推出了第二代分布式 DM TDD,主要特性为多点写入、多副本容灾能力和在线扩/缩容,然而计算层采用 RAC 的缓存融合方式,导致紧耦合不易扩展、单独日志层,容易出现瓶颈。

为此,新一代分布式数据库 DM DPC 便具备了存算分离、横向扩展,强事务一致性和强大的 SQL 引擎,引入 Raft 协议,支撑“两地三中心”多活部署,降低事务延迟,使 95% 的业务场景全面提升 5-10 倍。

多模+实时,湖仓一体「释放」全量数据「价值」

“在数字化的推动下,如今企业不但需要面向业务的交易核心,同时更需要构建面向企业全量价值的数据核心。”

巨杉数据库 SequoiaDB 首席架构师程祺介绍道,SequoiaDB 自研原生分布式数据库内核自 2011 年起,从多模数据湖到实时数据湖再到湖仓一体,历经 10 年仍初心不变:“海量、实时、多模,释放全量数据价值。”

相比以前的 v5.0 版本,程祺表示最新的 SequoiaDB v5.2 吞吐量显著提升,具备四大特性:

  • Join优化 + 列存微分区:查询分析更实时,查询优化毫秒返回,分析提升高达 10 倍;

  • 分片并发 + 可变分片大小:非结构数据更实时,吞吐量提升 30% 以上;

  • 全量数据生命周期管理:热、温数据实时可用,提升人效 & 能效;

  • SAC 链路监控:分布式架构诊断更实时,业务问题“分钟级”定位。

开务数据库及其在 IoT 场景下的技术实践

据 Gartner 统计,2021 年达到 800 多亿美元,较 2018 年市场增长了 22.3%,预计 2023 年数据库软件市场达到 1000 亿美元。其中,2020 年中国数据库市场总规模达 247.1 亿,较 2019 年增长 16.2%。

对此,浪潮开务数据库高级技术总监李月飞预测:未来几年数据库作为软件产品,仍然会持续发展,中国数据库也具备广阔的市场空间和快速的增值空间,开务数据库也应运而生。

作为开务数据库产品线之一,开务分布式数据库时浪潮研发最早、推广最早的数据库产品,具有强一致、高可用、高性能、弹性容量、可管理、易用、安全和云原生八大特点;

开务时序数据库是一款功能丰富、高性能的时序数据库,专为物联网、工业互联网、数字能源、金融等场景设计并优化,能让大量设备、数据采集器每天产生的高达 TB 甚至 PB 级的数据得到高效实时的处理;

除此之外,李月飞还介绍了有关开务 AIoT 分布式数据服务平台 KDP 的架构及相关实践案例。

openGemini:时序数据库面临的技术挑战和应用实践

回顾时序数据库的形态发展,华为云数据库创新 Lab 主任张文亮指出,早期时序数据库模型比较单一,单机并且容量受限,后来经历了通用→垂直→云原生,运维域技术也从传统监控向可观测性发展。

不过,可观测性也给数据库带来了许多技术挑战:需要采集的数据类型和数据量越来越多;多种类型数据需要做关联分析;海量数据的实时统计分析;运维问题处理需要实时在线智能决策——openGemini 由此诞生,旨在打造可观测性一站式存储底座。

总体而言,openGemini 是一款采用 Apache 2.0 协议的开源分布式时序数据库,可广泛应用于物联网、车联网、工业互联网和运维监控等业务场景。以“拥抱开源社区,开放全部核心功能代码”为开源策略,openGemini 的成长速度飞快:最初在 2019 年由开源 InfluxDB 改造,到 2022 年如今已至技术成熟阶段。

流程挖掘算法与数据库——让企业获得全知视角

1999 年,Wil van der Aalst 第一次提出了这个“流程挖掘”概念:“流程挖掘是从现有事件日志中挖掘知识,以发现、监控和改进实际流程的技术。”对于这句话,望繁信科技联合创始人兼 CTO 李进峰解读为:“流程挖掘是一个边缘性学科,主要涉及流程科学和数据科学两大领域。”

目前,流程挖掘全球市场规模达数百亿,50% 以上世界 500 强公司都在使用流程挖掘技术。通过大数据分析技术的加持下,流程挖掘可为业务提供丰富的流程业务洞察,助力企业业务流程的标准化:

  • 分析流程问题:流程挖掘分析作为X光机分析出企业的业务问题;

  • 流程标准化:通过流程挖掘从数据分析正式的业务流程,通过人工调整形成标准的业务流程;

  • BPR(业务流程再造) :根据标准化流程在现有IT系统中进行优化或改造。

至此,“数据库技术及应用实践”主题论坛的演讲分享就结束了,欢迎感兴趣的小伙伴点击下方链接,回看更多精彩细节:https://live.csdn.net/room/csdnlive1/POSV3mbm

面对爆炸式增长的数据,数据库技术如何在创新中应用?相关推荐

  1. 营销技术(Martech)的持续爆炸式增长,市场总监的工作变得更加艰难

    随着营销技术(Martech)的持续爆炸式增长,保持住新技术的领先地位是一场持久战,再加上除此之外的其他一切因素,市场总监一职的工作变得更加艰难. 新环境下,前沿的市场总监(CMO)思考: " ...

  2. 信息爆炸式增长让海量数据创造最大价值

    文章讲的是信息爆炸式增长让海量数据创造最大价值,近年来,随着固网宽带.移动互联网.物联网等的快速发展,数据正呈爆炸式增长,大数据时代已经来临.对于电信运营商而言,如何让自己拥有的庞大数据资源,产生更大 ...

  3. 信息爆炸式增长与信息化阻碍

    当今已经是一个信息爆炸式增长的时代,调查显示,当今有90%的信息产生于过去两年,两年时间太短,但对于信息增量和信息使用的企业利用来说产生的这些信息足以影响企业的发展和战略规划,因此,如何处理好信息化带 ...

  4. 2020 年,Linux 设备或将爆炸式增长

    点击上方蓝色"程序猿DD",选择"设为星标" 回复"资源"获取独家整理的学习资料! 作者 | xplanet 来源 | oschina.ne ...

  5. Web3创业具备创新爆炸式增长的所有要素

    2021年对于Web3行业来说是关键的一年,它从一个新生社区发展成为一个新兴行业. 在过去的一年里,我们见证了人才和资金大规模地流入Web3生态,所以在底层基础设施以及面向消费者的DApp中出现了大量 ...

  6. 大数据数据库技术简介与分类分析

    说起大数据生态,不得不提大数据生态系统图,而大数据行业却不断的发生着巨变,目前的这张图应该还算比较新了. 创业者们蜂拥至这个行业,这个行业正变得越来越拥挤.Hadoop似乎已经奠定了其作为整个大数据生 ...

  7. 牵手PeckShield,当红DeFi项目Aave爆炸式增长的背后?

    近期, 知名 DeFi 项目 Aave 与 PeckShield(派盾)达成安全审计合作,PeckShield 正在为其提供多个智能合约的安全审计服务. Aave 的前身是 Lend,和 MakerD ...

  8. 论贝店的爆炸式增长:新物种社交电商为何爆发?

    无论你是否感知,是否认可,在刚刚过去的一年中的电商领域,社交(社群)电商正成为电商细分领域的一支有生力量,其风头甚至盖过了老牌的京东等电商巨头. 最典型的社交电商新模式代表无疑当属拼多多和贝店.拼多多 ...

  9. 在格外传统的能源领域,大数据和AI相关并购案呈爆炸式增长

    编译 | 陈韵竹 作者 | Jason Deign 来源 | Green Tech Media 根据最近的一份行业报告,能源产业在大数据和人工智能领的投资今年增长了 10 倍. 会计事务所 BDO 的 ...

最新文章

  1. Redis分布式锁使用不当,酿成一个重大事故,超卖了100瓶飞天茅台!!!
  2. 如何使用Sublime Text 2重新格式化HTML代码?
  3. SQL Server 存储过程的分页
  4. ext 部署到 tomcat服务器下,通过http8080端口查看
  5. [vue] 分析下vue项目本地开发完成后部署到服务器后报404是什么原因呢?
  6. Linux下安装spf13-vim
  7. java语音播放事例
  8. 真·干货!这套深度学习教程整理走红,从理论到实践的带你系统学习 | 资源...
  9. C语言之枚举的定义以及测试
  10. (解决MATLAB的使用问题)避免每次双击.m文件都会自动打开一个matlab程序
  11. SQlite数据库的C编程接口(六) 返回值和错误码(Result Codes and Error Codes) ——《Using SQlite》读书笔记
  12. 税控盘查看服务器设置的网站,税控盘服务器地址
  13. android 下载apk后如何安装程序,Android下载并安装APK
  14. airpods删除别人的配对_男女属相最佳婚配表 最准的12生肖配对表
  15. Spring Boot 2 基础篇学习笔记
  16. 精心总结的表格快捷键
  17. 倒谱基音周期matlab,Matlab基于倒谱和EMD的语音基音周期的提取.doc
  18. MD5单向散列算法详解
  19. Linux 进程挂起、恢复相关命令
  20. 通讯录怎么恢复?在 手机上检索找回已删除的电话号码的3种方式

热门文章

  1. 华为问界增速乏力?背后造车工厂赛力斯巨亏收场
  2. 趣图:程序员头疼的 4 种原因
  3. 电热水壶坏了别扔,它很容易修好的!
  4. APP推广下载域名链接在微信被拦截怎么办
  5. 机器人运动学相关概念定义
  6. 51单片机学习过程中的常见疑惑
  7. AlexNet(深度学习模型)详解
  8. 微软新平台可在线运行 .NET 代码;苹果在中国“禁售令”或强制执行
  9. 阿里p6的大数据开发工程师都要学什么?
  10. (10分钟感受) 对极几何 PnP ICP的用法