大数据开发：大数据与数据库技术发展变化
在大数据处理当中，数据库无疑是提供关键性支持的技术之一，面对不断新增的海量数据，更加需要数据库提供稳定的底层支持，才能支持数据处理其他环节的工作。今天我们来做一个简单的大数据与数据库技术介绍。
谈到大数据，可能很多人首先想到的就是Hadoop，不得不承认，Hadoop在大数据处理的诸多技术框架当中，占据着非常重要的地位，堪称大数据技术领域的“老大哥”。而数据库技术，似乎不常被提起，但是同样不该被忽视。
在传统概念中，传统关系型数据库主要应用在OLTP等以交易为核心的业务，通常是关键交易型业务而非大数据这种分析型业务。
如今，关系型数据库可以保存任何类型的数据，能够支持关系型数据SQL查询，也能够提供针对Hadoop、对象存储的NoSQL查询能力，还可以访问JSON格式的数据。
这不就是一个大数据分析的解决方案吗？
数据库领域的大牛Michael Stonebraker说过：传统数据库架构是30年前，以OLTP应用为主设计的。如今，大数据属于OLAP，应采用新技术架构。
新技术思路是应该由“一种架构支持所有应用”转变成“多种架构支持多类应用”。
大数据的特点，其中很重要一点就是它的价值密度比较低，需要的存储容量会比较大，有时会达到PB级。如此一来，传统关系型数据库，数据进不去、查不出、存不下和扩容难等问题就暴露无遗。
于是，新型数据库应需而生。
新型数据库在架构设计上，硬件中磁盘、交换机、网卡等均采用高可用设计；软件上则采用全组件高可靠架构，协调节点多活，数据节点独创主+备+切换三重数据保护，GTM（Global Transaction Management）等进程采用主备方案。可以确保集群中任意一个节点故障业务不中断。
支持通过SQL访问HDFS上的数据，支持全文检索，从而为数据业务创新，提供简单易用的技术途径和手段。
总的来说，大数据和数据库技术其实联系紧密，在大数据当中也同样需要掌握响应的数据库技术。
大数据开发：大数据与数据库技术发展变化相关推荐
- 大数据开发学习：NoSQL数据库入门
大数据处理,涉及到从数据获取到数据存储.数据计算的诸多环节,各个环节需要解决的问题不同,相关岗位要求的技能也不同.在数据存储阶段,对数据库选型是非常重要的一项工作.今天的大数据开发学习分享,我们就来聊 ...
- 京东城市时空数据引擎JUST亮相中国数据库技术大会（附PPT链接）
受疫情影响,第十一届中国数据库技术大会(DTCC2020)从原定的5月份,推迟到了8月份,再推迟到了12月份.尽管如此,依然没有减退国人对数据库技术的热情.2020年12月21日-12月23日,北京国 ...
- 星环科技TDS 2.4.0 发布： 数据开发、数据治理、数据运营套件能力再次升级
近日,星环科技大数据开发工具 Transwarp Data Studio 2.4.0版本重磅发布,新版本中数据开发.数据治理.数据运营三大套件能力全部升级,让数据开发更便捷.数据治理更高效.数据运营更 ...
- 6.数据中台 --- 数据开发：数据价值提炼工厂
第6章 数据开发:数据价值提炼工厂数据开发涉及的产品能力主要包括三个部分,分别是 离线开发.实时开发和算法开发.1.离线开发主要包括离线数据的开发.发布.运维管理,以及数据分析.数据探索.在线查询和即 ...
- 活动回顾 | 浙大图灵大讲堂《数据库技术发展之道》圆满结束
9月9日,由浙江大学发起的图灵大讲堂·第七期<数据库技术发展之道>圆满结束,MariaDB.华为云与沃趣科技受邀出席.本次活动以数据库技术为主题,深入探讨全球数据库技术的发展之道,为大家带 ...
- 【数据库系统】数据库系统概论====第十三章 数据库技术发展
第十三章 数据库技术发展 文章目录 第十三章 数据库技术发展 13.1数据库技术发展概述 13.2数据库发展的3个阶段 13.2.1第一代数据库系统 13.2.2第二代数据库系统 13.2.3新一代数 ...
- DTCC 2018：见证数据库技术发展青春与您同行
点击蓝色字关注 "ITPUB" 一起玩耍哦~ 作者 | 唐川 编辑 | 闫志坤 文章导读: 九年间,见证数据库技术的发展青春 历史回顾:闭源巨头称霸江湖 开源分布式技术:新型数据库 ...
- 计算机数据库技术的应用现状,数据库技术发展现状及趋势.doc
数据库技术发展现状及趋势 数据库技术发展现状及趋势 摘要:数据库技术已发展成为信息科学里一项十分重要的技术,其应用领域之宽引人瞩目.本文介绍了数据库技术发展的现状及最新研究动态. 关键词:数据库技术 ...
- 专家论道，把脉数据库技术发展新方向
想知道国内数据库技术发展的新方向? 国产数据库哪些方面取得了技术新成就? 想向专家提出你的不解和疑问吗? 那么,这是你不得不看的一场直播↓↓↓ 活动概述 随着AI.5G等新技术的发展,各类数据库加快智 ...
最新文章
- mkdir()提示No such file or directory错误的解决方法
- 【MATLAB】数据类型 ( 矩阵 | 随机数函数 | 生成矩阵 )
- eclipse 使用jetty调试时，加依赖工程的源码调试方法
- django保存表单数据到数据库中
- 添加class值_Java 虚拟机(二) - Class 文件结构
- 四轮定位和四轮动平衡有什么区别？
- java学习中，instanceof 关键字 和 final 关键字、值的传递（java 学习中的小记录）...
- Python是最好的编程语言，Locust是最好的压测工具，不服来辩！
- Android之gdbserver/gdb调试
- 使用qmake 单独生成Qt程序
- 浅析双11背后的电商IT基础架构
- linux里的.mht是什么文件,Linux下阅读MHT文件
- LabVIEW在模拟输入通道上同时使用差动（Differential）和RSE（ReferencedSingle Ended）作读取
- uniapp ios原生插件开发 (framework,cocoapods)
- GET http://localhost:8082/ net::ERR_INCOMPLETE_CHUNKED_ENCODING 200 (OK)
- angular2+ 常用链接
- mysql 处理字符串 减断_Mysql处理字符串函数（转）
- 深入浅出Java23种设计模式（一）
- HDMI设计5--GT Transceiver的总体架构整理
- x200装linux驱动下载,ubuntu 安装X200声卡驱动