parquet压缩格式参数设置以及简单操作

Parquet 文件会在 gzip 中自动压缩，因为 Spark 变量 spark.sql.parquet.compression.codec 已在默认情况下设置为 gzip。您还可以将压缩编解码器设置为 uncompressed、snappy 或 lzo

object Save2Parquet {def main(args: Array[String]): Unit = {val conf = new SparkConf().setAppName("Save2Parquet").setMaster("local[2]")
//        conf.set("spark.sql.parquet.compression.codec","uncompressed")val sc = new SparkContext(conf)val sqlContext = new SQLContext(sc)
//        val DF = sqlContext.read.json("F:/03.hadoop/data/spark/sql/sqldf.json")
//        DF.repartition(1)
//        DF.write.parquet("F:/03.hadoop/data/a")val DF = sqlContext.read.parquet("F:/03.hadoop/data/a/part-r-00000-7cb2b83b-9237-4e11-86a7-663eafa71fc7.gz.parquet")DF.show()sc.stop()}
}

parquet压缩格式参数设置以及简单操作相关推荐

三菱mr服务器如何显示脉冲数,MR-JE-200A参数设置三菱MR-JE-200A操作手册(故障排除篇) - 广州正凌...
类型:MR-C型. 符号10A适用电机型号:HC-PQ23. 电源电压:单相AC220V. 驱动器方面:伺服驱动器在发展了变频技术的前提下, 在驱动器内部的电流环, 速度环和位置环(变频器没有该环)都 ...
伺服电机常用参数设置_简单介绍伺服电机的调试方法
伺服电机可以使控制速度和位置精度非常精确,并能将电压信号转换为转矩和转速来驱动控制对象. 伺服电机转子速度由输入信号控制,可以快速反应.它用作自动控制系统中的执行器,具有机电时间常数小,线性度高,启动 ...
HTC G7上网设置和简单操作
第一步,设置CMNET上网新建APN 1.名称:cmnet 2.APN:cmnet 3.APN类型:default 就只填写上面3个选项,其他都是默认,不用填写. 第二步,设置彩信新建APN 1. ...
Unity用代码设置图片的压缩格式（AssetImporter/TextureImporter）
前言项目中,图集图片的压缩格式可能需要统一处理,如果挨个挨个设置实在太麻烦了,可以使用代码对图片压缩格式进行设置. 代码示例以设置NGUI的图集的png大图的压缩格式在Android平台设置为ET ...
libjpeg:实现jpeg内存压缩暨error_exit错误异常处理和个性化参数设置
libjpeg-turbo是与libjpeg接口兼容的一个jpeg编/解码库,其主要的特点就是利用SIMD指令(如X86架构的MMX/SSE/SSE2,ARM架构的NEON)来加速jpeg图像的编/解 ...
JSP设置Excel表格换行_Excel单元格内换行简单操作！新手易懂超实用！
Excel单元格内换行简单操作,不少初学Excel的朋友问到,在单元格中换行,按了空格或回车键,但依旧换行不了,那究竟是怎么回事呢?我们应该怎么操作呢?其实很简单,只需几个步骤就能搞定了,下面我们就一 ...
如何把rmvb转换成mp4格式简单操作转换
很多时候,我们从网上下载的电影是rmvb格式的,想要在随身播放器上播放视频,绝大多数还是需要转换的,并且手机.MP4播放器类.PSP等还有所不同,虽然都是用mp4格式,可并不是统一的,每一种产品的参数 ...
Midjourney指令操作、promt框架、参数设置教程
引言:基于Chatgpt的应用如雨后春笋,这波浪潮正当时.最近在摸索图片生成有价值的应用场景,使用过程中整理了一些指令秘籍,一同分享出来. 1.原理 Midjourney的人工智能绘画技术基于GPT- ...
移动端日历控件 mobiscroll 的简单使用、参数设置
mobiscroll 在性能方面比较好,可选用多种效果,滑动效果也比较顺畅. 提供样式文件和js文件,直接点击下载,该版本是 mobiscroll 2.13的官方地址 :https://docs.m ...

parquet压缩格式参数设置以及简单操作

parquet压缩格式参数设置以及简单操作相关推荐

最新文章

热门文章