腾讯云TVP大数据之约活动归来
这是学习笔记的第 1920 篇文章
作为腾讯云TVP的一员,今天参加了“首期大数据之约”,这是一个限定名额的活动。从主办方的策划和组织来看,是下了很大的功夫。
分享活动从下午开始,有4个技术主题和一个圆桌会议,日程如下:
演讲嘉宾的资历都很深,相比于诸位博士和前辈,感觉还是有些压力的。其实抛开大数据议题,从另一个层面来看,也是现今社会的一种竞争升级。大数据和人工智能带来的红利,同时带来了大量的竞争,这种竞争中一种残酷的方式就是门槛,比如现今的人工智能,没有个博士级别听起来都很难有说服力,从技术的生态体系来说,学院派和工程派的协作和融合会越来越密切。
我分享的主题方向其实是小数据,主题是《数据运维的优化之道》,我刻意回避了“库”,是希望从一个更通用的角度来进行数据运维体系的解读。大体是从SQL审核,自动化上线,自助巡检等几个方面进行分析的,对于目前的工作总会有各种可行的方案,而我们作为数据服务的提供方,应该提供的是最适合最专业的服务,而不是原本被动式,低效的需求处理。其中对于优化,我们的潜意识中有一种错觉,那就是优化以为只能做更多,相反优化我们也可以做减法,能够化繁为简,我觉得是一种更高层次的优化。比如我们近期的一次优化,从架构体系和技术细节上进行的改进,让原本单机QPS 40万的业务压力降为5000,从支撑指标来看是降低了,但是性能反而是提升了。
当然另外三位嘉宾的分享更加专业,分别从分布式数据库的行业现状,大数据基础架构和新一代云数据库几个方面进行了解读,我目前也承接了公司的Greenplum技术体系支持,所以对于这方面的内容还算是熟悉,但是对于整个大数据技术栈的深入理解上,还需要下大的力气。
圆桌会议的讨论主题相对是开放的。
比如其中一个问题是对数据库与大数据技术的未来趋势有哪些预测与判断?比如数据的云服务化(低成本,托管免运维,安全挑战),HTAP(Hybrid OLTP and OLAP ),容器化,serverless化,大数据与AI技术的结合,等等。
我对HTAP的一个理解是,虽然我们都会按照OLTP+OLAP的模式去理解HTAP,但是从业务的场景入手,有些场景其实既不是OLTP,也不是OLAP,比如论坛业务,其实这种业务场景在互联网中大量出现,换个角度,如果按照目前行业内所说的HTAP方案,其实Oracle本身就可以理解为HTAP数据库了,因为TP,AP支撑能力都非常强,那么我们聊HTAP的时候,其实是想表达一种思路和理解,目前的基于MySQL等数据库对于OLAP的支持有限,HTAP是在TP的基础上对AP的方案做一些补充,从现在的使用来看,目前更多还是在AP的扩展性方面来进行对接,所以基于关系型的模型是一种相对经典稳定的技术栈,而HTAP在目前可以算是一种不错的补充方案,而至于效果和对于业务支撑的实际情况,还需要时间来验证。
对于数据库方向的理解,我认为数据库的发展会越来越多元化,原本属于TP方向的事务优势依然会保留,但是从业务的规模和发展来看,关系型之外的数据库潜力和空间更加巨大,在流行度和使用比例上近些年会有较为明显的发展。
有位现场听众朋友提了一个运维和业务的边界问题,在云时代的背景下,这个问题其实很有代表性。原来的工作中业务提交申请1台服务器和提交5台服务器,从业务的角度是没有任何感知的,或者说他们不关心这些,而对于运维同学来说,复杂度还是有差别的。公有云基于Paas平台的资源服务其实是很不错的一种实践,对于业务来说,他们会形成一种资源服务的意识,这对于运维其实是件好事。另外公有云服务其实目前只是承接了基础运维的工作,但是业务其实更关心的其实是基于业务场景的数据服务,这些服务其实是很多公有云服务本身欠缺的,在目前基于云的服务框架下还是有很大的空间和潜力,如果做好了,完善了,这对于运维还是业务都是双赢。
对于运维来说,其实有一个很大的瓶颈就是只是局限于运维,要看得更宽,想的更多。如何最大化的体现自己的价值,同时在云时代能够牢牢跟进行业发展趋势,这是我们需要反思的问题。
腾讯云TVP大数据之约活动归来相关推荐
- 腾讯云公布大数据平台最新数据,日实时计算量超40万亿
9月11日,在2020腾讯全球数字生态大会上,腾讯云副总裁刘煜宏透露,腾讯云大数据平台的算力弹性资源池达500万核,每日分析任务数达1500万,每日实时计算次数超过40万亿,能支持超过一万亿维度的数据 ...
- 七大新品集中亮相,腾讯云AI大数据全线升级!
近日腾讯云在北京举行大数据AI新品发布会.会上,腾讯云带来了在大数据与AI领域的最新研究成果,包括AI换脸甄别技术AntiFakes.腾讯星图以及企业画像平台等七大重磅新品,并对AI.大数据产品进行全 ...
- 腾讯云全面更新数据智能服务全景图!
近日在腾讯云AI大数据新品发布会上,腾讯云副总裁王龙向听众全面介绍了当前腾讯云数据智能服务的全景布局.针对目前整体AI行业的发展趋势,他表示过去一招鲜的发展模式已经难以为继,取而代之的是真正能够产生价 ...
- 乘风破浪的技术大咖再次集结 | 腾讯云TVP持续航行中
腾讯云最具价值专家,简称 TVP(Tencent Cloud Valuable Professional),是腾讯云颁发给第三方技术专家们的一项荣誉认证,以此感谢他们为推动云计算技术的发展所作出的贡献 ...
- 腾讯云TVP专家眼中的云开发:尚不完美,未来可期
引言 C++之父 Bjarne曾说,"世界上只有两种编程语言,一种被人骂,一种没人用".这句玩笑话道出了软件开发行业的真谛,不怕被人吐槽,就怕没人吐槽.如果以今天的眼光去审视那些成 ...
- 长三角大数据产业联盟正式成立,云创大数据位列创始成员单位
2017年11月18日下午,中美绿色数据中心暨大数据产业发展高峰论坛在南通盛大举行,会上举行了长三角大数据产业联盟揭牌仪式,中数盟理事长傅伯岩与江苏省经信委副主任池宇为联盟揭牌.作为联盟创始单位之一, ...
- 阿里云发布新一代CDN 6.0 主打云与大数据融合
3月18日,阿里云发布极速CDN 6.0版,在业界首次提出Cloud Delivery Network(云分发网络)理念.新版CDN融合云计算和大数据技术,涵盖视频和移动两个解决方案以及大数据分析.H ...
- 阿里云发布大数据产品ODPS 6小时处理100PB数据
阿里云发布大数据产品ODPS 6小时处理100PB数据 阿里云发布ODPS 可分析PB级海量数据 新浪科技讯 7月8日下午消息,阿里云计算发布大数据产品--ODPS.通过ODPS在线服务,小型公 ...
- 腾讯 PB 级大数据计算如何做到秒级?
天穹 SuperSQL 是腾讯自研,基于统一的 SQL 语言模型,面向机器学习智能调优,提供虚拟化数据和开放式计算引擎的大数据智能融合平台.在开放融合的 Data Cloud 上,业务方可以消费完整的 ...
最新文章
- TypeError: ord() expected a character, but string of length 6 found
- python内置函数用来打开或创建文件_2020年《python程序设计》基础知识及程序设计598题XS[含参考答案]...
- 【数据结构与算法】之深入解析“打家劫舍III”的求解思路与算法示例
- 安卓移植和驱动开发第八章心得体会
- 梦想成真…教学–专业的Java开发人员:工具和最佳实践
- android开发 文件分享到应用,Android 实现文件分享功能(共享多个文件)
- 前端学习(1189):事件基本使用
- css中的单位换算_css大小单位px em rem的转换和详解
- 【UI设计师必备】可临摹精美的APP UI Kit模板
- mtk一键usb驱动_微星b460主板装win7系统及bios设置教程(支持十代usb驱动)
- python之requests模块
- Java集合框架的概念以及常用接口的介绍
- Atitit 发帖机实现(2)---usrQBN2243 文本解析到对象协议规范
- 【目标跟踪】基于matlab帧差法结合卡尔曼滤波行人姿态识别【含Matlab源码 1127期】
- [环境搭建] VS-Visual Studio-IIS Express 支持局域网访问
- java中的递归算法_java递归算法
- 华为云计算HCIE学习笔记-FusionAccess
- vue手机端日期插件
- vue组件中校验身份证号,手机号和邮箱
- python怎么定义未知数_码如其人,同学你能写一手漂亮的Python函数吗