Vertica数据库介绍
1、简介
Vertica是一款基于列存储的MPP(massively parallel processing)架构的数据库。它可以支持存放多至PB(Petabyte)
级别的结构化数据。
2、特性
1)列式存储
vertica以列格式存储数据, 以便在查 询时获得最佳性能。相比基于行的存储, 列存储可减少磁盘I/O, 非常适合读取 密集型工作负载
2)高级压缩
压缩会将数据转换为紧凑的格式。 Vertica 使用多种不同的压缩方法, 并 且可以根据要压缩的数据自动选择最 佳方法
3)高可用
Vertica 使用类似RAID 的功能为数据库 提供高可用性。
4)自动数据库设计
Vertica数据库参数几乎无需二次配置
5)海量并行处理
支持海量的事务并行分析处理
6)应用程序集成
集成了DBD分析引擎、Vertica MC控制 管理平台、Vertica WLM资源控制、 scheduler任务计划对接kafka等
3、vertica组件介绍
wos:将未经压缩或建立索引的数据存储在内存中。
ros:将数据存储在磁盘上;这些数据会经过分段,排序,压缩,以便提高优化水平
tuple mover
moveout ‐ 将数据从WOS 复制到Tuple Mover, 然后再复制到ROS; 数据在列式文件中会经过排序、编码和压缩
mergeout ‐ 将若干较小的ROS 容器组合成一个较大的容器, 以 便减少碎片
4、vertica数据导入
5、Projection简介
Projection是Vertica 存储数据的方式 – 由一个或多个表中的列集组成
由Vertica 自动维护 – 不进行夜间Projection重建
每个Projection存储单独的数据副本 – 编码和压缩最大程度地降低存储需求
vertica对象层次化:
Projection类型
- 超级Projection (Super projection) – 包含一个逻辑表的所有列的Projection
- 特定于查询的Projection (Query-specific projection) – 针对特定查询或一类查询优化 – 可以包括列子集
- 预联接Projection (Pre-Join projection) – 存储一个事实表与一个或多个维度表之间的联接结果
- 分支Projection (Buddy projection) – 具有相同列和分段的Projection位于不同的节点上,可提供高可用性(HA)
如何创建projection
- 首次将数据加载到表中时自动创建 – 未经优化的超级Projection (Super projection)
- 使用Database Designer 自动创建 – 经优化的超级Projection (Super projection) – 可能是特定于查询的Projection (Query-specific projection)
- 在vsql语句中使用CREATE PROJECTION 语法手动创建
编码/压缩与排序
- 每个列始终经过编码、压缩,或者编码并压缩。
- Vertica 可以直接处理编码的数据;压缩的数据则必须首先解压缩。
- 在ORDER BY 语句中,所有Projection至少包含一个列
复制示例
- 对于小型Projection,会将完整Projection复制到每个节点 – 本质上提供了此Projection的高可用性
分段示例
- 对于大型Projection,将Projection数据分布在多个节点上
分段和高可用性示例
- 分支Projection为分段的Projection提供高可用性 – 分支Projection (Buddy projection) 是Projection段的副本,存储在其他节点上 – K 级安全是存在于群集上的数据副本
分段、复制、K 级安全示例
- 具有分支Projection (Buddy projection) 的分段
- 复制
添加Projection
- 创建Projection的元数据 – \i .sql – vsql –f .sql
- 将数据复制到新Projection中 – SELECT start_refresh();(后台) – SELECT refresh();(前台)
- 查看刷新状态 – SELECT get_projection_status ('projection_name'); – SELECT * FROM v_monitor.projection_refreshes;
- 完成刷新后,新的Projection可以自动用于回答查询
查看并删除Projection
- 查看所有Projection – \dj – SELECT * FROM v_catalog.projections;
- 删除旧Projection – 表中的最后一个超级Projection (Super projection) 不能删除 – 可能需要将久远历史标记前移(将在之后说明)
- SELECT make_ahm_now();
- DROP projection ;
Vertica数据库介绍相关推荐
- vertica MySQL_MySQL数据库之Vertica数据库的用法
本文主要向大家介绍了MySQL数据库之Vertica数据库的用法 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. 基于列存储的数据库,相对于传统的基于行的数据库,它更适合在数据仓 ...
- 一幅长文细学GaussDB(一)——数据库介绍
文章目录 1 数据库介绍 1.1 数据库技术 1.2 数据库技术发展史 数据库技术产生和发展 数据库三个阶段比较 数据库系统优势 层次模型 网状模型 关系模型 关系数据库产品历史 结构化查询语言SQL ...
- 数据简化社区2018年全球数据库总结及18种主流数据库介绍(公号回复“数据库2018”下载典藏版PDF报告)
数据简化社区2018年全球数据库总结及18种主流数据库介绍(公号回复"数据库2018"下载典藏版PDF报告) 秦陇纪 数据简化DataSimp 今天 数据简化DataSimp导读: ...
- MNIST数据库介绍及转换
MNIST数据库介绍:MNIST是一个手写数字数据库,它有60000个训练样本集和10000个测试样本集.它是NIST数据库的一个子集. MNIST数据库官方网址为:http://yann.lecun ...
- Mongodb数据库介绍
Mongodb数据库介绍 一种非关系型数据库mongodb,mongodb数据库主要用于海量存储,常被用在数据采集项目中. mongodb官方文档 https://docs.mongodb.com/ ...
- 安装Vertica数据库
本文地址:http://blog.csdn.net/kongxx/article/details/6585345 1. 安装Vertica rpm包 2. 创建Vertica用户并设置密码 # use ...
- hbase数据库介绍,HBASE的特点,表结构逻辑视图,Row Key,列族,时间戳,Cell
HBASE数据库 1. Hbase基础 1.1 hbase数据库介绍 1.简介nosql hbase是bigtable的开源java版本.是建立在hdfs之上,提供高可靠性.高性能.列存储.可伸缩.实 ...
- MySQL(1)数据库介绍,配置MySQL的tab补全
文章目录 一.数据库的基本概念 1.1 使用数据库的必要性 1.2 数据库的概念 1.2.1 数据(Data) 1.2.2 表 1.2.3 数据库 1.2.4 数据库管理系统(DBMS) 1.2.5 ...
- 数据库概述(了解数据库,当前数据库介绍,mysql数据库介绍,安装mysql数据库)
文章目录 数据库概述 什么是数据库(数据,表,数据库) 数据库有什么作用? 关系数据库详解 非关系数据库详解 数据库系统发展史 数据库管理系统(DBMS) 当今主流数据库介绍 MySQL数据库 MyS ...
最新文章
- oracle virtualbox 添加共享硬盘
- 口罩巨头挑战“量子霸权”,3个月造出的『最强量子计算机』靠谱不?
- odoo开发笔记--一个模块显示两个一级菜单
- SpringBoot 实战 (十二) | 整合 thymeleaf
- mysql学习总结一:mysql的安装,介绍,基本命令操作
- JavaScript-2(数组与字符串的方法)
- Swift - final关键字的介绍,以及使用场景
- 图像和流媒体 -- 详解YUV数据格式
- Android之jni编译出现error: jump to label ‘XXXX’ [-fpermissive]解决办法
- hive kerberos java_Kerberos身份验证错误 - Sqoop通过Hive从SQL导入HDFS
- springboot_yml配置
- 花了一年时间开发出来的基于DXF文件的加工路径自动生成软件
- 客户成功已死,客户服务还活着
- 米斯特白帽培训讲义 漏洞篇 文件上传
- [Hyper-V]使用操作系统模板创建新的虚拟机
- 灰色头像,一上班发现qq,msn头像不能搞灰,郁闷
- STM32控制SG90舵机与超声波HC_SR04测距模块
- 计算机基础和Linux安装
- 学前端进度慢怎么办?前端学不懂怎么办?
- html图片快速轮播特效代码,轻松实现javascript图片轮播特效
热门文章
- 大学生生活中的三大痛点
- VS Code利用GIT对源码进行管理
- Python私有属性与私有方法
- ipad可以装二级计算机培训吗,当初给孩子买iPad上网课的家长,开始后悔了……
- java实现二维码的生成和解析包含工具类
- 三国经典战役\三国合肥会战\三国孙权大战张辽\三国孙权一败张文远
- 计算机硬件与软件教学反思,计算机硬件教学反思.doc
- Pycharm 注册 Pycharm 破解 Pycharm 注册破解 亲测多法 仅此方有效 有效期至2099年
- POI使用公式的问题,POI对excel函数的支持
- 关于ucore实验一的资料查找