hbase表格实现数据压缩
压缩方式:
压缩方式 | 使用难易 |
---|---|
snappy | 需要手动安装snappy |
LZO | 需要手动安装lzo |
NONE | 自带,直接使用 |
GZ | 自带,直接使用 |
LZ4 | 自带,直接使用 |
使用方法:
1、disable ‘table’
2、更新表格命令
alter 'table', NAME => 'f1', COMPRESSION => 'snappy'
alter 'table', NAME => 'f1', COMPRESSION => 'LZO'
alter 'table', NAME => 'f1', COMPRESSION => 'NONE'
alter 'table', NAME => 'f1', COMPRESSION => 'GZ'
alter 'table', NAME => 'f1', COMPRESSION => 'LZ4'
3、 enable ‘table’
4、 major_compact ‘table’
5、 describe ‘table’ 查看压缩格式是否修改成功
推荐:
1、snappy、LZO两种方式性能较好,但是配置安装十分麻烦
2、自带的几种压缩方式依据实际情况GZ与LZ4性能有所不同,大概是1:9的压缩率,具体情况要依据自身的表结构情况而定
3、如果使用Phoenix创建索引(索引本质也是一张表),也可以执行压缩格式可以节省空间和提高速度:
create index “idx_stu” on “stu”(“cf1”.“name”) compression=‘LZ4’;
hbase表格实现数据压缩相关推荐
- 企业级数据仓库:数据仓库概述;核心技术框架,数仓理论,数据通道Hive技术框架,HBase设计,系统调度,关系模式范式,ER图,维度建模,星型/雪花/星座模式,数据采集同步,业务数据埋点,数据仓库规范
文章目录 第一章 数据仓库概述 1.1 数据仓库简介 1.1.2 什么是数据仓库? 1.1.3 OLTP 与 OLAP 1.2 数据仓库技术架构 1.3 课程目标 第二章 核心技术框架 2.1 数据仓 ...
- 20张图带你到HBase的世界遨游
1 HBase 浅析 1.1 HBase 是啥 HBase 是一款面向列存储,用于存储处理海量数据的 NoSQL 数据库.它的理论原型是 Google 的 BigTable 论文.你可以认为 HBa ...
- 数据导入HBase最常用的三种方式及实践分析
要使用Hadoop,数据合并至关重要,HBase应用甚广.一般而言,需要针对不同情景模式将现有的各种类型的数据库或数据文件中的数据转入至HBase中. 常见方式为:1.使用HBase的API中的Put ...
- 简单的HBase实践
简单的HBase实践 文章目录 简单的HBase实践 操作环境 HBase常用shell命令 使用HBase的shell命令 命令行启动HBase并预置数据 1.列出 HBase 中所有的表 2.打印 ...
- HBase数据库总结(一)
1. HBase的特点是什么? HBase是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库. 1)大:一个表可以有数十亿 ...
- HBase常见面试题
1.HBase简单读写流程? 读: 找到要读数据的region所在的RegionServer,然后按照以下顺序进行读取:先去BlockCache读取,若 BlockCache没有,则到Memstore ...
- HBase数据大批量导入方式总结和对比
HBase数据导入 1. 背景 在实际生产中,海量数据一般都不是直接存储在HBase中,这时候就需要一个数据导入到HBase的步骤 上一篇博客讲述了可以通过java api的方式或者shell 客户端 ...
- 【Hadoop】HBase 数据模型(Data Model)
Data Model 在HBase中,数据是存储在有行有列的表格中.这是与关系型数据库重复的术语,并不是有用的类比.相反,HBase可以被认为是一个多维度的映射. HBase数据模型术语 Table( ...
- Spark读写HBase:处理纽约出租车数据
一.数据及部分代码来源: 解析geojson数据:https://github.com/jwills/geojson 纽约出租车数据:http://www.andresmh.com/nyctaxitr ...
最新文章
- 【约束布局】ConstraintLayout 13 种相对定位属性组合 ( 属性组合 | 用法说明 )
- 【Matlab】绘制不同颜色线条
- BZOJ2837 : 小强的形状
- WDCP管理面板安装启动EXIF、bcmath完整步骤
- phpstormp新建PHP保存在哪里_记一次windows配置PHP环境
- gitlab hook触发jenkins自动构建
- tcp假连接_ESTABLISHED状态的连接收到 SYN 会回复什么?
- Flink的定时器(EventTime和ProcessTime)
- DataContractJsonSerializer 没有using 类库找不到
- Python3爬虫入门之selenium库的用法
- 性能强悍的开源关系数据库PostgreSQL
- [转] 面向对象软件开发和过程(四)重用
- Unbuntu卸载anaconda(最新最全亲测)
- 计算机网络原理(谢希仁第八版)第五章课后习题答案
- linux使用tab键联想,Linux 下python 如何设置使用tab键
- 圣诞小程序服务器,微信圣诞帽2018小程序_微信圣诞帽头像自动换预约_第一手游网...
- 面试题之——乐观锁和悲观锁区别
- 高级Java开发招聘
- CentOs7怎么查看系统版本
- C语言程序设计第二次作业