常见数据库与数据引擎概念(一)

dataworks：基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。
OTS：表格存储
RDS：云数据库RDS是一种稳定可靠、可弹性伸缩的在线数据库服务。基于飞天分布式系统和全SSD盘高性能存储，支持MySQL、SQL Server、PostgreSQL和PPAS（高度兼容Oracle)引擎，默认部署主备架构且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼！
UDF：指用户定义函数，三类 UDF：
–>UDF一进一出，给定一个参数，输出一个处理后的数据
–>UDAF-多进一出，属于聚合函数，类似于count、sum等函数
–>UDTF-一进多出，属于一个参数，返回一个列表作为结果
DAG：节点依赖关系的有向无环图
KAFKA：Apache Kafka是一个分布式的发布-订阅消息系统，能够支撑海量数据的数据传递。在离线和实时的消息处理业务系统中，Kafka都有广泛的应用。Kafka将消息持久化到磁盘中，并对消息创建了备份保证了数据的安全。Kafka在保证了较高的处理速度的同时，又能保证数据处理的低延迟和数据的零丢失。

Kafka的优势在于：可靠性：Kafka是一个具有分区机制、副本机制和容错机制的分布式消息系统可扩展性：Kafka消息系统支持集群规模的热扩展高性能：Kafka在数据发布和订阅过程中都能保证数据的高吞吐量。即便在TB级数据存储的情况下，仍然能保证稳定的性能。
7. kudu：存储结构化数据表的存储系统。在一个Kudu集群中可以定义任意数量的table，每个table都需要预先定义好schema。每个table的列数是确定的，每一列都需要有名字和类型，每个表中可以把其中一列或多列定义为主键。这么看来，Kudu更像关系型数据库，而不是像HBase、Cassandra和MongoDB这些NoSQL数据库。不过Kudu目前还不能像关系型数据一样支持二级索引。基于HDFS的存储技术，比如Parquet，具有高吞吐量连续读取数据的能力；而HBase和Cassandra等技术适用于低延迟的随机读写场景—>kudu

8.HBase:基于Google Bigtable实现的开源、分布式、可伸缩的列式存储数据库（非关系型），诞生于Hadoop，也是Hadoop生态的重要一环，如今作为一个Apache顶级项目，应用于基于Storm，Spark等框架的数据处理方案中，一种重要的大数据存储工具。

9.Redis：一个高性能的key-value数据库(非关系型),Redis有着更为复杂的数据结构并且提供对他们的原子性操作;支持数据持久化，可将内存中的数据保存在磁盘，重启时再次加载;支持数据备份，即 master-slave 模式的数据备份

10.HIVE：Hive依赖于HDFS和MapReduce，其对HDFS的操作类似于SQL，我们称之为HQL（SQL解析引擎），它提供了丰富的SQL查询方式来分析存储在HDFS中的数据。HQL可以编译转为MapReduce作业，完成查询、汇总、分析数据等工作。这样一来，即使不熟悉MapReduce 的用户也可以很方便地利用SQL 语言查询、汇总、分析数据。而MapReduce开发人员可以把己写的mapper 和reducer 作为插件来支持Hive 做更复杂的数据分析，分析的数据来源于HDFS或HBase。 HIVE体系框架图：

HIVE工作内部流程：

11.大数据架构：传统大数据架构，流式架构，lambda架构，kappa,udifield

12.存储引擎：将数据存储到磁盘得接口～MySQL有SQL语句分析层和存储引擎层，当分析出SQL语句需要执行什么操作后，调用存储引擎的接口即可，数据库是个服务，存储引擎是和底层文件系统对接的

13.Data Lake:一种在系统或存储库中以自然格式存储数据的方法，它有助于以各种模式和结构形式配置数据，通常是对象块或文件。数据湖的主要思想是对企业中的所有数据进行统一存储，从原始数据（源系统数据的精确副本）转换为用于报告、可视化、分析和机器学习等各种任务的目标数据。数据湖中的数据包括结构化数据（关系数据库数据），半结构化数据（CSV、XML、JSON等），非结构化数据（电子邮件，文档，PDF）和二进制数据（图像、音频、视频），从而形成一个容纳所有形式数据的集中式数据存储。 ⦁ 数据湖从本质上来讲，是一种企业数据架构方法，物理实现上则是一个数据存储平台，用来集中化存储企业内海量的、多来源，多种类的数据，并支持对数据进行快速加工和分析。从实现方式来看，目前Hadoop是最常用的部署数据湖的技术，但并不意味着数据湖就是指Hadoop集群。为了应对不同业务需求的特点，MPP数据库+Hadoop集群+传统数据仓库这种“混搭”架构的数据湖也越来越多出现在企业信息化建设规划中。 ⦁ 数据湖的就是原始数据保存区. 虽然这个概念国内谈的少，但绝大部分互联网公司都已经有了。国内一般把整个HDFS叫做数据仓库（广义），即存放所有数据的地方，而国外一般叫数据湖(data lake)。

待续…

注：以上内容为学习过程中查询，图片来源于网络（若侵权，则删），仅作个人学习记录，可供他人参考。

常见数据库与数据引擎概念(一)相关推荐

达梦DM数据库网页数据维护工具
达梦是优秀的国产数据库,在电力,政务等行业大量使用, 现在TreeSoft数据库管理系统已支持达梦了,直接在浏览器中就可以操作查看达梦数据库了,十分方便. TreeSoft数据库管理系 ...
cmd查看mysql数据库表_cmd中查看MySQL数据库表数据及结构
0. 1 .cmd进入mysql安装的bin目录(C:\Program Files\XXXXXX\MySQL Server 5.6\bin) mysql -hlocalhost -uroot -p 回 ...
数据湖概念辨析以及常见技术通览
这是大数据技术扫盲系列的第二篇[数据湖概念辨析以及常见技术通览] 全文3000字,阅读需要10分钟一.数据湖概念的起源数据湖的概念被首次提出是在2010年的Hadoop World大会上,时任Pe ...
引擎: 决定数据库存取数据的方式 = 不同的特点 = 不同的用户体验数据类型: 规定了数据库可以存放哪些数据约束: 限制存储数据的规则键...
Microsoft Windows [版本 10.0.17134.472] (c) 2018 Microsoft Corporation.保留所有权利. C:\Users\Administrator& ...
【数据库】数据库基本概念：数据库管理系统 / 数据库 / 表 / 数据
0 前言本文讲解数据库的最基本概念推荐书籍:<MySQL 必知必会> 需要的软件:MySQL 8.0 1 数据库相关概念及其实战应用 1.1 数据(Data) 在人类世界中,数据可以是 ...
修改mysql数据引擎的方法- 提高数据库性能
前言:同学告我说,他为了能使得数据查询变得快一点,修改的数据引擎,故查询一下,总结一下. 登录mysql后,查看当前数据库支持的引擎和默认的数据库引擎,使用下面命令: mysql>show en ...
Mysql四种常见数据库引擎
InnoDB存储引擎 InnoDB是事务型数据库的首选引擎,支持事务安全表(ACID),支持行锁定和外键,上图也看到了,InnoDB是默认的MySQL引擎.InnoDB主要特性有: MyISAM存储引 ...
了解什么是数据库、数据表、字段、等概念
标题:了解什么是数据库.数据表.字段.等概念 (1)数据库:数据库是"按照数据结构来组织.存储和管理数据的仓库".是一个长期存储在计算机内的.有组织的.有共享的.统一管理的数据集合 ...
京东城市时空数据引擎JUST亮相中国数据库技术大会
受疫情影响,第十一届中国数据库技术大会(DTCC 2020)从原定的5月份,推迟到了8月份,再推迟到了12月份.尽管如此,依然没有减退国人对数据库技术的热情.2020年12月21日-12月23日,北京 ...

常见数据库与数据引擎概念(一)

注：以上内容为学习过程中查询，图片来源于网络（若侵权，则删），仅作个人学习记录，可供他人参考。

常见数据库与数据引擎概念(一)相关推荐

最新文章

热门文章