python spark hadoop_使用Scala或Python列出存储在Hadoop HDFS上的Spark群集中可用的所有文件？...

列出Spark中本地可用的所有文件名的最有效方法是什么？我正在使用Scala API，但是，Python也应该没问题。

解决方案

import org.apache.hadoop.fs。{FileSystem，FileUtil，Path}

import scala.collection.mutable.Stack

$ b $ val fs = FileSystem.get(sc.hadoopConfiguration)

var dirs = Stack [String]()

val files = scala.collection.mutable.ListBuffer.empty [String]

val fs = FileSystem.get(sc.hadoopConfiguration)

dirs.push("/ user / username /")

while(！dirs.isEmpty){

val status = fs.listStatus(new Path(dirs.pop()))

status.foreach(x => if(x .isDirectory)dirs.push(x.getPath.toString)else

files + = x.getPath.toString)

}

files.foreach(println)

< / code>

python spark hadoop_使用Scala或Python列出存储在Hadoop HDFS上的Spark群集中可用的所有文件？...相关推荐

java mllib 算法_朴素贝叶斯算法原理及Spark MLlib实例(Scala/Java/Python)
朴素贝叶斯算法介绍: 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法. 朴素贝叶斯的思想基础是这样的:对于给出的待分类项,求解在此项出现的条件下各个类别出现的概率,在没有其它可用信息下,我 ...
python卸载不了怎么办说目录有错_错误：无法在安装目录中创建或删除文件
但是每当我运行这个命令时,就会出现以下错误wget https://bitbucket.org/pypa/setuptools/raw/bootstrap/ez_setup.py -O - | pyt ...
Spark开发语言Scala语言
Spark内核是由Scala语言开发的,因此使用Scala语言开发Spark应用程序是自然而然的事情.如果你对Scala语言还不太熟悉,可以阅读网络教程A Scala Tutorial for Jav ...
python使用redis_使用Redis和Python构建自行车共享应用
python使用redis 我经常出差. 我不是一个小汽车人,所以当我有空闲时间时,我更喜欢在城市周围散步或骑自行车. 我去过商务旅行的许多城市都有单车共享系统,可让您租几个小时的自行车. 这些系统中 ...
与 Hadoop 对比，如何看待 Spark 技术？
转自:https://www.zhihu.com/question/26568496 与 Hadoop 对比,如何看待 Spark 技术? 75 个回答用心阁软件工程师 Hadoop 首先看一下H ...
与 Hadoop 对比，如何看待 Spark 技术
http://www.zhihu.com/question/26568496 与 Hadoop 对比,如何看待 Spark 技术? 最近公司邀请来王家林老师来做培训,其浮夸的授课方式略接受不了.其强烈 ...
大数据的技术生态？Hadoop、Hive、Spark之间是什么关系？
2019独角兽企业重金招聘Python工程师标准>>> 大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的.你可以把它比作 ...
spark执行优化——依赖上传到HDFS二(-conf spark.yarn.dist.jars或者--jars 的使用)
1.说明之前整理过一篇类似文章,但是这个spark.yarn.jar配置的目录最好只是放spark jars目录下的jar包,如果放入其他的jar包,很大概率会有冲突,而且如果项目比较多,jar包引 ...
scala和python的优缺点_基于Spark环境对比Python和Scala语言利弊
在数据挖掘中,Python和Scala语言都是极受欢迎的,本文总结两种语言在Spark环境各自特点. 本文翻译自 https://www.dezyre.com/article/Scala-vs-Py ...

python spark hadoop_使用Scala或Python列出存储在Hadoop HDFS上的Spark群集中可用的所有文件？...

python spark hadoop_使用Scala或Python列出存储在Hadoop HDFS上的Spark群集中可用的所有文件？...相关推荐

最新文章

热门文章