HiveQL:文件格式和压缩方法

1.压缩/解压

/*
压缩：可以最小化所需要的磁盘存储空间，以及减小磁盘和网络I/O操作，但是文件压缩和解压过程会增加CPU开销。因此，对于压缩密集型的job最好使用压缩，特别是有额外的CPU资源或者磁盘存储空间比较稀缺的情况。
*/
-- BZip2压缩率最高，但是消耗最多的CPU开销
-- GZip是压缩率和压缩/解压速度上的下一个选择
-- LZO和Snappy压缩率低于前两者，但是速度快
-- Bzip2和LZO可以支持块级别的压缩，另外两者不支持，如果用后两者，可以将文件分割成期望值的大小。

2.开启中间压缩

/*
对中间数据进行压缩可以减少job中map和reduce task中间的数据传输量，对与中间数据，选择一个低CPU开销的编/解器要比选择一个压缩率高的编/解要重要的多。
*/
hive.exec.compress.intermediate = true

3.最终输出结果压缩

/*
当Hive将输出写入到表中，输出内容同样可以进行压缩。
*/
hive.compress.output = true -- 开启输出结果压缩功能

转载于:https://www.cnblogs.com/lijingang/p/11395556.html

HiveQL:文件格式和压缩方法相关推荐

linux 压缩文件夹格式,Linux下常见文件格式的压缩、解压小结
Linux下常见文件格式的压缩.解压小结 .tar 解包: tar xvf FileName.tar 打包:tar cvf FileName.tar DirName (注:tar是打包,不是压缩!) ...
如何使用手机把照片压缩到100K？教你手机压缩方法
如何使用手机来把照片压缩到100K大小呢?在我们日常的工作和学习中,有时会使用到照片来进行传输或者保存,如果照片的内存过大,会导致我们上传不了或者是非常占用内存.在身边没有电脑的情况下,我们如何使用手 ...
如何把照片进行压缩？好用的压缩方法分享
照片的内存太大,我们怎么才能把照片给压缩一下呢?相信这个问题困扰了很多的小伙伴,尤其是第一次遇到这种情况,就会更加手足无措.实际上,遇到这种问题还是很常见的,如照片内存太大就会上传不了,或者是占用太多 ...
手机如何压缩照片？压缩方法分享
怎么用手机来压缩照片呢?大家在使用照片的时候,也会遇到很多问题,有的是照片的格式不对,有的是照片的内存太大上传不了,或者是占用了太大的内存,针对照片内存太大我们怎么才能将它们给压缩一下呢?很多小伙伴不 ...
android 不压缩保存图片格式,Android中图片的压缩方法
Bitmap Android中图片是以Bitmap(位图)形式存在,位图常见的文件格式有:.bmp .jpg .png .gif . Bitmap的大小计算 = 图片的长度图片的宽度单位像素所占用的字 ...
python解压文件中哪个是安装包_python解压文件格式的基本方法
应对多种压缩包格式的python库:patool.如果平时只用基本的解压.打包等操作,也不想详细了解各种压缩格式对应的python库,patool应该是个不错的选择. patool库支持的格式包括: ...
PDF怎么压缩的小一点？这两招压缩方法很实用
怎么把PDF文件的内存给压缩的小一点呢?大家都知道,PDF文件是我们在日常学习和办公中经常使用到的,有的PDF文件资料内存很大,我们储存起来会很占用内存,并且也会影响打开文件的速度,解决这一问题的方法 ...
图片压缩怎么做？教你一个非常有用的压缩方法
图片内存太大,想要压缩图片该怎么做呢?大家在日常中一定有过上传图片,结果因为图片内存过大而上传失败的经历,出现这种情况最有效的就是将图片给压缩一下,很多小伙伴知道怎么压缩,但是发现压缩后图片的尺寸可能 ...
玩转DV技巧 DV视频采集编辑和压缩方法
玩转DV技巧 DV视频采集编辑和压缩方法发布日期:2007/12/19 13:47:22 人气指数:439 选择内容区背景色:灰色(默认色) 墨绿杏仁黄秋叶褐胭脂红芥末绿天蓝雪青灰银 ...

HiveQL:文件格式和压缩方法

HiveQL:文件格式和压缩方法相关推荐

最新文章

热门文章