数据风云、十年变迁（DTCC会议总结）

近日参加2019年DTCC大会，感触颇多，从2012年到2019年连续7年都默默的关注这这个具有风向标的数据库盛会。每年都有不同的感受。尤其今年感动更多。由内自外的想感慨总结一下。

先说说自己的总体感受，以前有技术原理专场，有源码研读的专场，有具体优化实现的专场，每一场都能看到技术的火花四溅，令人耳目一新。但是今年看到了其他不一样的地方，同时也深深的反思了未来发展的方向。

1. 技术原理专场缩水严重。

从演讲主题看技术原理的专场还是满满的，但是听完后，发现文不对题的很多。最后都变成了大家讲我的产品是什么，功能是什么，平台是什么？与2015年技术专家讲源码，讲实现原理，从技术角度讲感觉差距甚远。我想这也是作为纯技术的视觉问题。想想技术发展到今天，越来越多的技术朝着封装，简单，易用的方向发展，谁还在乎内核是什么，实现原理是什么。能用，方便，易用就好。所以总体下来有点失落。

2. 银行金融领域专场出现

2019年之前几乎没有金融专场。今年出现金融行业的专场。为什么？从今年数据库发展趋势看，云数据库大势所趋已成必然，只有在传统金融行业还留存一席DBA的天地。所以才有一些拿出来可将的东西。如果都上云数据库了，所有的架构，操作，运维都在页面上点点都能完成。还有什么自己能做的，什么能拿出来讲的？

3. 分布式数据库日渐成熟

最近在研究分布式OLTP数据库。发现真是百花齐放百家争鸣，并且在金融领域已经开始慢慢的崭露头角。引用韩老师分析的“如果说几年前，分布式还是实验室里的"玩具"，那么近几年来其已悄然成熟。在众多领域已经开始推广，甚至在金融等高端领域也有所涉及。其技术细节上，各家实现上也各有差异。这类不谈所谓"真假"分布式的问题，因为目前还缺乏统一的认识。去年国家信通院搞的分布式数据库标准的制定，正在试图从国家层面规范这一领域的标准。从应用角度来看，分布式数据库无疑是一个"银弹"，其针对三个核心问题：性能、容量、高可用均有不错的解决。对于过度依赖传统大型商业数据库的企业来讲，无疑是一个新的选择。但我们也要清醒地看到，现有分布式数据库还无法与传统单机数据库，达到同样的使用感受。在应用架构、结构设计等诸多领域，还需要多多关注。”

4. 云原生数据库大势所趋

云数据库的概念，已然存在多年；但近年来云原生数据库随着AWS的aurora的出现，其已成为云数据库的必然发展阶段。可以说云原生数据库是云数据库的"2.0"版本。至于什么是云原生，可以参考CNCF的12条准则，其技术表现上以“存储与计算分离”等特征为代表。其核心可概括为计算能力弹性扩展、存储能力按需分配。实现上其往往表现为强大的存储层、精简的引擎层及新兴硬件架构的引入。云原生思想的诞生，已然颠覆了传统数据库的开发思想，在学术上这部分仍然在快速发展阶段。从厂商表现上，各大巨头纷纷发力，阿里、腾讯、华为等均发布了产品，甚至初创企业-极数云舟也依靠多年积累推出了自己的云原生数据库。从使用者角度来看，云原生无疑颇具吸引力，想想秒级备份、分钟级扩展实例，DBA们梦里都会笑醒吧:)。当然我们也要看到云原生数据库与传统数据库，其设计理念差异较大，对于DBA们是需要做一定的技术贮备转型。

5. 数据多态，成为必然

关系模型，从70年代诞生到现在火了40多年。在描述数据方面，关系模型无疑是不错的一种选择。但近些年来，随着场景的不断多元化，非关系类数据越来越多，如何处理这样数据，成为各家必须面临的问题。于是，我们看到两种处理方法：

一是以Redis、MongoDB为代表的NoSQL产品逐步火热，在特定场景下其优势非常明显。从本次大会安排的场次，也可见其火热度。针对这一现状各大云厂商也都纷纷推出了自己的云端NoSQL产品，占据这一逐步火热的市场。
二是以PG、MySQL为代表的关系数据库产品，纷纷开始支持非关系模型，所谓“多模”数据库开始涌现。相较于前者，其熟悉的运维体系、一致性的使用体验，无疑是具有一定优势。

6. 混合场景，尚待发展

作为数据处理，TP类和AP类需求之前是严格区分的。旧的做法是通过ETL方式，抽取数据到大数据平台进行处理。这种方式的弊端在于数据延时。即使辅助以流式处理等手段，其时效性仍无法满足某些场景。面对这种情况，混合处理（HTAP）应允而生，其特点是数据存储一份（可能为多态），通过不同的计算引擎，分别进行处理。一些大厂和新兴数据库厂商均做此方面的努力。但从目前来看，尚达不到成熟使用状态，例如资源隔离等技术难点还需攻克。

7. 数据库，大数据，AI，数据融合平台建设趋热

数据，作为企业的核心资产，在未来将愈发重要。如何将企业内数据融合、集中、发挥出数据更大的价值，成为企业面临的共性问题。随着前些年阿里的“中台”战略的提出，为解决这一问题提出一种新的解决模式，各大公司纷纷仿效。从本次大会上看，从前端的数据汇聚、到中端的数据处理、再到后端分析乃至整体的数据治理，多个方向均有相关主题。特别是数据治理专场，人员爆满，可见对此话题的关注。

从今年主题来看，纯自动化平台类分享已经较少，云化主题较多。一方面，随着前些年的建设，很多公司运维平台已初具规模，分享意义不大；另一方面，不少公司已考虑建设私有云或上公有云，建设重点发生变化。云化的主题，相较过去有所增加。特别是AI与平台建设结合方向，受人瞩目。

8. 传统DBA发展方向令人深思

我理解的传统的DBA作为创造价值(数据库公司),使用价值(各应用公司)之间的传播者。创造价值的公司为数据库产品开发者。在完成了数据库产品的创造后，在向各个公司传递价值的时候，需要这么一批人来帮助其完成实现，这就是DBA存在的价值。从现在云数据库的产生来看，创造价值的公司直接面向了客户，便捷的操作，方便的管理，几乎0运维的服务，让客户不需要高技能的DBA即可达到目的。那么这个时候还要DBA干什么？此时想问一下公司有自建数据库迁移到云数据库上后原来的DBA的同学都做什么去了？

当大势所趋不可扭转时，只有2条路，要么迎头一跃跳上浪头，那么改其道。第一条路，去云数据库公司，骑在巨人背上，最大化自己的价值。第二条路，那就放飞自我吧，做自己感兴趣的一切的一切。

作为一个DBA此时有一点失落，但是更多的是时代的进步，数据库的发展如此的昂扬喷薄，日新月异也有一种欣慰吧。谨以此祭奠我的传统DBA生涯。

数据风云、十年变迁（DTCC会议总结）相关推荐

云计算技术 — 数据中心基础架构变迁史
目录文章目录目录数据中心基础架构变迁史 1997-2007,第一波浪潮:裸机服务器基础架构 2005-至今,第二波浪潮:虚拟化基础架构 / 云计算 2010-至今,第三波浪潮:超融合基础架构 ( ...
吴甘沙创业照见自动驾驶十年变迁，产业爆发在下一个春天里 | 自动驾驶这十年...
个人创业照见自动驾驶十年变迁. 效力英特尔16年.三发创业之心最终"出走"人工智能,吴甘沙的创业故事已经被说得太多.而他所领衔创立的驭势科技,继2017年完成国内首个自动驾驶商业运 ...
计算机学院十四五工作规划,计算机学院举行教学指导委员会成立暨十四五规划修订会议...
为表彰先进,进一步健全完善教学工作管理体制,计算机学院于2020年12月8日15:00在9-207举行了说课比赛颁奖仪式,召开了教学指导委员会成立暨十四五规划修订会议,会议由田立伟院长主持,说课比赛获 ...
大数据的过去、现在和未来：万字长文解读《大数据四十二条》
这是傅一平的第314篇原创 "与数据同行"开通了微信群,现已汇聚了3500位小伙伴了,长按以下二维码发送"入群"后加入. 正文开始它山之石可以攻玉,何宝宏博士 ...
每月全球数据存储十大新闻（2020.9.1-9.30），精彩的9月
新闻摘要: (1)台积电官宣2nm建厂,对此三星毫不示弱 (2)中芯国际公告称:只为民用和商用的终端用户提供产品及服务 (3)华澜微停牌新三板后,闯关科创板已辅导备案 (4)AMD.Intel续供华为 ...
GUI 应用程序架构的十年变迁：MVC、MVP、MVVM、Unidirectional、Clean
随着现代浏览器的日渐流行,Web 以及混合开发技术的发展,大前端的概念日渐成为某种共识:而无论 iOS.Android.Web 这样的端开发还是 React Native.Weex 这样的跨端开发,其 ...
2013年展望：大数据发展十大趋势分析
本文讲的是2013年展望:大数据发展十大趋势分析,2012年大数据发展如火如荼,大有赶超云计算之势.如果把今年比作大数据落地生根的一年,那么2013年将迎来其茁壮成长,甚至开花结果的一年.有预测称,大 ...
盘点大数据的十大发展方向，Scale-out将成主流
摘要:随着人们对大数据认知的加强,除去特点之外,人们开始更加关注于它的使用价值和未来的服务方向.本文列举了大数据的十大发展方向,其中Scale-out将成为主流. [编者按]如今,大数据俨然成为IT领 ...
大数据是什么和大数据技术十大核心原理详解
一.数据核心原理从"流程"核心转变为"数据"核心大数据时代,计算模式也发生了转变,从"流程"核心转变为"数据&quo ...
EI会议论文，第二届云计算、大数据与数字经济国际学术会议最终截稿倒计时10天
第二届云计算.大数据与数字经济国际学术会议最终截稿倒计时10天! 诚邀各专家学者投稿参会,七月共聚大连.

数据风云、十年变迁（DTCC会议总结）

数据风云、十年变迁（DTCC会议总结）

数据风云、十年变迁（DTCC会议总结）相关推荐

最新文章

热门文章