Amazon Redshift数据库
Amazon Redshift介绍
Amazon Redshift是一种可轻松扩展的完全托管型PB级数据仓库,它通过使用列存储技术和并行化多个节点的查询来提供快速的查询性能,使您能够更高效的分析现有数据。使用云端Amazon Redshift服务,您无需管理庞大的服务器集群,分析数据的成本不到传统解决方案的十分之一。
Amazon Redshift使用列存储技术改善I/O效率并跨过多个节点平行放置查询,从而提供快速的查询性能。Redshift使用标准的PostgreSQL JDBC和ODBC驱动程序,从而使您能够使用各种常见SQL客户端。数据加载速度与集群大小呈线性关系。
作为AWS的服务之一的Redshift有哪些优势呢?
1、完全托管,快速上手
使用Redshift云服务,您可以根据业务需要在几分钟内建立几个到几十个节点的数据仓库集群,立刻开始您的数据分析的任务,也能根据需求随时增加或减少集群资源。Redshift是完全托管平台,承担了大量的集群管理、数据库管理、监控、集群健康检查、备份、升级等工作,让您能专注业务分析,无需花大量时间在服务器管理,安全及数据备份等工作上。
2、为数据仓库而优化的架构
Amazon Redshift基于企业级PostgreSQL数据库,有大规模并行处理(MPP)结构,MPP可以通过将数据分布到各个计算节点来解决海量数据的处理难题。在Redshift中,每个集群有一个管理节点和多个计算节点。集群内部使用私有、高速、 低延时的网络连接。每个计算节点都有单独的CPU,内存和附加存储,并且每个计算节点有多个分区,您的数据被分布保存在计算节点的多个分区内,因此每个分区的数据量大大减少,您的查询会在多个分区并行执行,大大的增加了查询的效率。
注:MPP是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到最终的结果(与Hadoop相似),详情点击;https://blog.csdn.net/qq_42189083/article/details/80610092
3、查询优化
Redshift提供了针对MPP架构的查询优化引擎,被编译后的SQL分布在多个计算节点的分区内并行执行,并且最大化的利用了列式存储的优势,因此在复杂的多表连接查询的情况下,查询优化器通常能有很大的性能提升。
4、高性能
很多用户使用Redshift获得了几十倍甚至上百倍的查询加速,Redshift为您提供非常搞笑的查询性能,除了上面讲的专为数据仓库而优化的架构外,还有以下优势:
4.1、列式存储
很多数据库使用行式存储,此时如果要基于某个列求和,需要加载整张表的数据,而Redshift列式存储只需要加载一列的数据,磁盘的IO以及内存的消耗都显著减少,增加了性能。由于数据仓库中的大部分查询只是扫描整张表中的部分字段,因此Redshift列式存储特别适合数据仓库查询,另外列式存储索引比传统索引能提供5倍以上的压缩效果和10倍以上的性能提升。
4.2、数据压缩
作为一个列式数据仓库,Redshift还支持列数据压缩,数据压缩减少了磁盘占用空间,减少了读写I/O、减少了内存占用空间,并提高了查询的性能。由于Redshift同列的数据类型相同,有些值也相同,因此Redshift的压缩率很高
5、成本低
使用Redshift无需昂贵的服务器及管理人员成本,仅按使用量付费,并且可以通过购买预留实例来进一步减少成本,实际成本只有传统数据仓库分析的十分之一。
6、安全
创建Redshift集群的时候,可以选择启用加密来保护数据仓库中的数据,启用加密后,所有的数据库、系统表及备份数据都会被加密,保障了数据的安全。连接Redshift的时候,您也可以使用SSL连接,保障网络传输安全。另外AWS也通过身份管理IAM,虚拟网络VPC,防火墙安全组等保护您数据的安全 。
7、负载性能监控
Redshift监控让您能了解集群运行的细节,比如您可以随时检查集群节点的CPU、内存、网络、存储的使用状况,了解节点当前负载,确保您使用合适的资源来满足当前的业务需求。Redshift和云监控CloudWatch服务高度集成,CloudWatch能够监测Redshift的各种指标,也可以设置警报,在集群出现故障时第一时间通知您。CloudWatch简单易用,是保障集群健康的重要环节。
8、数据迁移到Redshift
不管您的数据是否在云中,都能轻松的使用Redshift分析现有数据,对于传统的没有使用云的用户,只需要先将数据文件上传到AWS中。AWS提供了多种途径将云中的数据加载到Redshift中,下面介绍几种:
8.1、从S3中加载数据
传统的用户可以将数据文件通过上传到AWS的云存储S3上。对于敏感数据,可以在上传前加密数据或者使用S3云端加密功能,因此无需担心数据安全。Redshift提供了命令自动将S3中的数据并行加载到Redshift中。
8.2、从Dynamo DB中加载数据
您也可以将数据加载AWS的NoSQL数据库(Dynamo DB)中,Dynamo DB中的数据可以实时或者批量的导入到Redshift。
8.3、从EMR中加载数据
EMR是AWS基于hadoop框架的大数据处理服务,通过大数据处理平台加工后的数据,可以使用Redshift命令将HDFS中的数据加载到Redshift中。
8.4、通过SSH从远程服务器加载数据
Redshift也提供了命令从云中或您数据中心主机上通过SSH连接加载数据。
AWS提供了丰富的功能帮助您将数据中心或云中的数据加载到Redshift中,加载完成后您就可以在Redshift中建立模型,分析数据,使用AWS的QuickSight、Elasticsearch Service等服务显示报表,也可以在AWS的Market Place中寻找行业BI工具分析和显示数据。
转载于:https://www.cnblogs.com/FengGeBlog/p/9816144.html
Amazon Redshift数据库相关推荐
- Amazon 中国区配置 PingIdentity 身份集成实现 Redshift 数据库群集单点登录
无疑使用单点登录 (SSO)访问组织中的多种应用程序能够提升用户体验 . 如果您负责为 Amazon Redshift 启用 SSO,则可以使用 ADFS.PingIdentity.Okta.Azur ...
- 关于Amazon Redshift性能调优的十大Tips
在Amazon Redshift的协助下,客户得以顺利完成一系列业务目标,例如从加速现有数据库环境,到提取网络日志以进行大数据分析等等.Amazon Redshift是一套全托管PB级大规模并行数据仓 ...
- amazon redshift 分析型数据库特点——本质还是列存储
Amazon Redshift 是一种快速且完全托管的 PB 级数据仓库,使您可以使用现有的商业智能工具经济高效地轻松分析您的所有数据.从最低 0.25 USD 每小时 (不承担任何义务) 直到每年每 ...
- redshift mysql_和支持的 Amazon Redshift 与 PostgreSQL 数据库之间的数据类型差异MySQL - Amazon Redshift...
本文属于机器翻译版本.若本译文内容与英语原文存在差异,则一律以英文原文为准. 和支持的 Amazon Redshift 与 PostgreSQL 数据库之间的数据类型差异MySQL 下表显示了 Ama ...
- Java连接redshift数据库_配置 JDBC 驱动程序版本 1.0 连接 - Amazon Redshift
本文属于机器翻译版本.若本译文内容与英语原文存在差异,则一律以英文原文为准. 配置 JDBC 驱动程序版本 1.0 连接 您可以使用 JDBC 驱动程序版本 1.0 连接从许多第三方 SQL 客户端工 ...
- Amazon Redshift 架构
Amazon Redshift 的混合架构可提供无与伦比的性能 共享存储功能支持无限并发扩展,同时 Redshift 的实例存储功能支持低延迟访问无法通过其他方式访问的数据. 这两个策略的独特组合使 ...
- 在线答疑 Amazon DMS 数据库迁移十问
自从2018年8月8日,Amazon Database Migration Service 和 Amazon Schema Conversion Tool 在 亚马逊云科技中国(北京)区域和亚马逊云科 ...
- Amazon Redshift - 基本介绍
Amazon Redshift 数据仓库是一个企业级的关系数据库查询和管理系统. 特点: 支持与多种类型的应用程序建立客户端连接 多阶段操作.(检索.比较.计算) MPP(大规模并行处理), 列式存储 ...
- Amazon Redshift ML现已正式推出——使用SQL创建机器学习模型并通过您的数据进行预测
借助 Amazon Redshift,您可以使用SQL在您的数据仓库.操作数据库和数据湖中查询和合并数EB的结构化和半结构化数据.现在,AQUA(高级查询加速器)已全面推出,您可以将您的查询性能最高提 ...
最新文章
- 我的Python分析成长之路8
- 关于csgo的观看录像fps低_中国CSGO神秘天才欲初登赛场!却因这件事被无数人所质疑!!...
- 使用python调用zabbix接口截取监控图并生成Word文档
- R语言str_subset函数和str_which函数:str_subset函数提取字符串向量中所有包含匹配字符的字符串、str_which函数返回字符串向量中所有包含匹配字符的位置(索引)
- debian php redis,debian7.7环境下 源码安装redis以及phpredis扩展
- Restful API 设计规范实战
- C++与类型转换相关的四个关键字
- ubuntu安装linux deepin,如何在Ubuntu中安装Deepin终端 | MOS86
- livebos--iframe使用
- overfitting(过度拟合)的概念
- 计算机电源风扇维修,电脑电源开关维修和电源风扇加油图解全过程.doc
- 有感软件安装称呼的变化
- java mouseenter_关于事件mouseover ,mouseout ,mouseenter,mouseleave的区别
- ora-28500 ora-02063 mysql_oracle dblink mysql 报错ORA-28500
- 【Flink】Flink 如何在本地IDEA恢复检查点 不通过IDEA 不通过 flink run 方法
- 日均 61 亿次攻击、挖矿病毒“卫冕”安全威胁之最,云上安全防御如何“战”?...
- Hibernate简易BaseDao演示单例
- 机器学习十大算法的核心思想、工作原理、适用 情况及优缺点
- python自动登录灯塔党建_python 奇淫技巧之自动登录 哔哩哔哩
- 使用transmission下载BT