SparkSQL 控制文件输出的大小

package cn.ac.iie.logimport org.apache.spark.sql.{SaveMode, SparkSession}/*** 使用Spark完成我们的数据清洗操作*/
object SparkStatCleanJob {def main(args: Array[String]): Unit = {val spark = SparkSession.builder().appName("SparkStatCleanJob").master("local[2]").getOrCreate()val acessRDD = spark.sparkContext.textFile("file:///E:/test/output/part-00000")// acessRDD.take(10).foreach(println)// RDD => DFval accessDF = spark.createDataFrame(acessRDD.map(x => AccessConvertUtil.parseLog(x)), AccessConvertUtil.struct)// accessDF.printSchema()// accessDF.show(false)accessDF.coalesce(1).write.format("parquet").mode(SaveMode.Overwrite).partitionBy("day").save("file:///E:/test/clean")spark.stop()}}

有时我们要将DataFrame保存到文件系统中，并且按照day字段进行partitionBy，往往使用accessDF.write.format("parquet").mode(SaveMode.Overwrite).partitionBy("day").save("file:///E:/test/clean")这种方式，
这句话：将DataFrame数据以parquet文件格式写入file:///E:/test/clean文件系统中，并且按照day进行partition，同时如果文件夹存在则进行覆盖。
但是有时候，输出的结果中day文件夹下的小文件太多了，非常影响性能。因此使用coalesce(1)来将小文件文件输出到一个文件中。之前在一个day下会有多个文件，使用accessDF.coalesce(1).write.format("parquet").mode(SaveMode.Overwrite).partitionBy("day").save("file:///E:/test/clean")方式之后，一个day下就仅有一个文件了。

SparkSQL 控制文件输出的大小相关推荐

NLog日志框架-输出文件数量与大小控制
目录概述一.NLog使用说明二.文件输出控制配置 1.规则说明 2.演示案例总结概述 Nlog是一个免费开源的.NET日志框架,拥有丰富的日志路由(XML配置表)和强大的管理能力.NLog便 ...
文件上传下载-修改文件上传大小
#上传时出现如下异常: 上传文件的大小超出默认配置默认10M nested exception is java.lang.IllegalStateException: org.apache.tomc ...
011、控制文件作用与管理
控制文件作用与管理 1.控制文件位置与大小 2.控制文件的内容 3.大关系段 4.postgresql.conf中的配置信息 5.write-ahead logging以及checkpoint的动态信 ...
SparkSql 控制输出文件数量且大小均匀(distribute by rand())
@羲凡--只为了更好的活着 SparkSql 控制输出文件数量且大小均匀(distribute by rand()) Q:Spark如何控制文件你输出数量? A:这个简单,用 coalesce或者re ...
将文件中的内容在控制台上输出
Q: 在C:盘根目录下创建纯文本文件 test.txt,并键入下列内容: 呦呦鹿鸣,食野之蒿. 今夕何夕,见此良人. 桃之夭夭,灼灼其华. 如月之恒,如日之升. 巧笑倩兮,美目盼兮. 琴瑟在御,莫不静 ...
还原oracle控制文件位置,oracle 11.2 控制文件还原
****************************************** 1.控制文件备份分类 ****************************************** 通常分 ...
【SparkSQL小文件的处理方式】
SparkSQL小文件的处理方式(选第三种方式即可解决) 自适应执行社区在Spark2.3版本之后的AdaptiveExecute特性之中就能很好的解决Partition个数过多导致小文件过多的问题 ...
oracle log block size,案例:Oracle无法启动报错ORA-00218: block size 0 重建控制文件
天萃荷净 oracle数据库无法启动报错ORA-00218故障,通过重建控制文件解决文件损坏问题遇到一个案例在数据库启动的时候报ORA-00218错误,而这个故障的引起原因是因为重建控制文件的时候, ...
oracle 控制文件在哪里设置_从Oracle到PostgreSQL：最全控制文件
原文: 从Oracle到PostgreSQL:最全控制文件(上) https://www.enmotech.com/web/detail/1/770/1.html 从Oracle到PostgreSQL ...

SparkSQL 控制文件输出的大小

SparkSQL 控制文件输出的大小相关推荐

最新文章

热门文章