spark中saveAsTextFile如何最终生成一个文件

原文地址：http://www.cnblogs.com/029zz010buct/p/4685173.html

-----------------------------------------------------------------------

一般而言，saveAsTextFile会按照执行task的多少生成多少个文件，比如part-00000一直到part-0000n，n自然就是task的个数，亦即是最后的stage的分区数。那么有没有办法最后只生成一个文件，而不是成百上千个文件了？答案自然是有办法。

　　在RDD上调用coalesce(1,true).saveAsTextFile()，意味着做完计算之后将数据汇集到一个分区，然后再执行保存的动作，显然，一个分区，Spark自然只起一个task来执行保存的动作，也就只有一个文件产生了。又或者，可以调用repartition(1)，它其实是coalesce的一个包装，默认第二个参数为true。

　　事情最终就这么简单吗？显然不是。你虽然可以这么做，但代价是巨大的。因为Spark面对的是大量的数据，并且是并行执行的，如果强行要求最后只有一个分区，必然导致大量的磁盘IO和网络IO产生，并且最终执行reduce操作的节点的内存也会承受很大考验。Spark程序会很慢，甚至死掉。

　　这往往是初学Spark的一个思维陷阱，需要改变原先那种单线程单节点的思维，对程序的理解要转变多多个节点多个进程中去，需要熟悉多节点集群自然产生多个文件这种模式。

　　此外，saveAsTextFile要求保存的目录之前是没有的，否则会报错。所以，最好程序中保存前先判断一下目录是否存在。

-------------

更多的Java，Android，大数据，J2EE，Python，数据库，Linux，Java架构师，教程，视频请访问：

http://www.cnblogs.com/zengmiaogen/p/7083694.html

spark中saveAsTextFile如何最终生成一个文件相关推荐

Shell编程 ——for循环、if语句、sleep睡眠。——每秒钟生成一个文件，一共生成60个文件
实践: 每秒钟生成一个文件,一共生成60个文件,文件名格式是"20190101_101010.txt".但是,第10.20秒,不生成文件. #!/bin/sh for((i=0;i ...
1./app/logs/ 里面的日志只保留7天的（apache每天生成一个文件）
2019独角兽企业重金招聘Python工程师标准>>> 1./app/logs/ 里面的日志只保留7天的(apache每天生成一个文件) [root@centos6 ~]# vi ...
使用IO流将数据库中数据生成一个文件，结果使用Notepad++打开部分数据结尾出现NUL...
场景描述: 项目中通过java代码中从数据库中查询一系列数据,对数据做相应处理,然后通过字符流将数据写如一个新生成的文件中,将该项目部署在linux服务器上,最后生成的文件拿到本地使用notepad+ ...
python中dom模块_Python中使用dom模块生成XML文件示例
在Python中解析XML文件也有Dom和Sax两种方式,这里先介绍如何是使用Dom解析XML,这一篇文章是Dom生成XML文件,下一篇文章再继续介绍Dom解析XML文件. 在生成XML文件中,我们主 ...
oracle输出xml文件格式,在oracle中通过字段信息生成xml文件
一般地,在开发xmlp的时候,我们要先用report builder制作rdf模板,然后上传rdf到客户化应用下的reports文件夹下,通过并发请求,输出xml数据,然后保存成xml文件,或者直接将 ...
spark 读取ftp_scala – 使用ftp在Apache Spark中的远程计算机上读取文件
我正在尝试使用ftp在Apache Spark( Scala版本)中的远程计算机上读取文件.目前,我在 GitHub上关注Databricks的Learning Spark回购中的一个例子.使用cur ...
linux文件下生成一个文件,Linux系统下生成一个指定大小的文件要注意什么？
在装系统,因此在这里随便记点东西. 从前与经理讨论NVR项目的时候,他提到要预先将用户指定好的磁盘空间预留出来,这是比较容易实现的功能.不容易实现的是自己写一个文件系统,这种方法我是不太敢照量啊,不过 ...
根据文件夹中的图片数据集生成.txt文件标签
文章目录前言数据集格式 Python实现注意事项前言深度学习中的与图片有关的任务,如图像识别,图像分类,目标检测,图像分割等,在准备图片数据集时,图片的序号和标签往往是由.txt文件获取的. ...
php 二维数组根据键值合并二维数组_php数组根据某键值，把相同键值的合并最终生成一个新的二维数组...
匿名用户 1级 2013-12-29 回答 php数组根据某一个键值,把相同键值的合并生成一个新的二维数组源数据: $infos = array( array( 'a' => 36, 'b' ...

spark中saveAsTextFile如何最终生成一个文件

spark中saveAsTextFile如何最终生成一个文件相关推荐

最新文章

热门文章