spark SQL压缩入门

parquet
默认压缩格式：snappy
可用压缩格式：none, snappy, gzip, lzo

默认是snappy压缩的parquet格式,不指定的情况下

保存为gzip压缩的parquet

gzip压缩格式的parquet

def compress(): Unit ={val spark: SparkSession = SparkSession.builder().master("local[1]").appName("test").getOrCreate()spark.sql("set spark.sql.parquet.compression.codec=gzip")val df: DataFrame = spark.read.json("./data/emp.json")df.write.save("data/dir10")}

如下图

读取,spark会自动识别压缩格式

 def readcompress(): Unit ={val spark: SparkSession = SparkSession.builder().master("local[1]").appName("test").getOrCreate()//spark会自动识别压缩格式val df: DataFrame = spark.read.load("data/dir10")df.show()}

保存为lzo 压缩的parquet

def compress(): Unit ={val spark: SparkSession = SparkSession.builder().master("local[1]").appName("test").getOrCreate()spark.sql("set spark.sql.parquet.compression.codec=lzo")val df: DataFrame = spark.read.json("./data/emp.json")df.write.save("data/dir10")}

报错

 Class com.hadoop.compression.lzo.LzoCodec was not found

参数

spark.sql.parquet.compression.codec

默认值snappy

设置编写Parquet文件时使用的压缩编解码器。
可接受的值包括：none，uncompressed，snappy，gzip，lzo，brotli，lz4，zstd。

总结

parquet是存储格式,gzip,snappy等等是压缩格式,不要混淆
parquet又可分压缩和非压缩

参考

SparkSQL的几种输出格式及压缩方式_lfish001的博客-CSDN博客

cloudera cdh - Class com.hadoop.compression.lzo.LzoCodec not found for Spark on CDH 5? - Stack Overflow

spark SQL压缩入门相关推荐

spark SQL快速入门 1-9 慕课网
1.hadoop安装 1.修改hadoop配置文件hadoop-env.shexport JAVA_HOME=/home/hadoop/app/jdk1.8.0_91core-site.xml< ...
Spark SQL 快速入门系列（五）SparkSQL 访问 Hive
文章目录访问 Hive SparkSQL 整合 Hive 访问 Hive 表 idea实现SparkSQL连接hive 访问 Hive 导读 1,整合 SparkSQL 和 Hive, 使用 Hiv ...
Spark SQL:从入门到精通(一)[SparkSQL初体验]
入口-SparkSession 在spark2.0版本之前 SQLContext是创建DataFrame和执行SQL的入口 HiveContext通过hive sql语句操作hive表数据,兼容hiv ...
Spark SQL:从入门到精通(五)[开窗函数]
概述 https://www.cnblogs.com/qiuting/p/7880500.html 介绍: 开窗函数的引入是为了既显示聚集前的数据,又显示聚集后的数据.即在每一行的最后一列添加聚合函数 ...
spark SQL入门指南《读书笔记》
文章目录 spark SQL入门指南第一章初识 spark mysql 1.1 Spark的诞生和SparkSQL是什么? 1.2 Spark SQL能做什么? 第2章 Spark安装.编程环境 ...
2018年又传喜报！热烈祝贺王家林大师大数据经典著作《Spark SQL大数据实例开发教程》畅销书籍出版上市!
2018年又传喜报!热烈祝贺王家林大师大数据经典著作<Spark SQL大数据实例开发教程> 畅销书籍出版上市! 作者: 王家林段智华条码书号:9787111591979 出版日期 ...
pyspark sql简单入门
采用python开发spark sql简单入门 1.编写pyspark脚本 2.在spark客户端提交spark应用程序 1.编写pyspark脚本步骤读取本地csv文件转换为DataFrame ...
「Spark从入门到精通系列」4.Spark SQL和DataFrames：内置数据源简介
来源 | Learning Spark Lightning-Fast Data Analytics,Second Edition 作者 | Damji,et al. 翻译 | 吴邪大数据4年从业经 ...
大数据入门之分布式计算框架Spark(2) -- Spark SQL
1.Spark SQL概述一个运行在Spark上执行sql的处理框架,可以用来处理结构化的数据[外部数据源(访问hive.json.parquet等文件的数据)]. Spark SQL提供了SQL的 ...

spark SQL压缩入门

保存为gzip压缩的parquet

保存为lzo 压缩的parquet

参数

总结

参考

spark SQL压缩入门相关推荐

最新文章

热门文章