上传文本到hdfs上的一些命令

在hadoop下创建文件夹

bin/hdfs dfs -mkdir -p /usr/hadoop/spark/

touch wc.input 写一些文本进去、

上传到hdfs上 bin/hdfs dfs -put wc.input /usr/hadoop/spark/

查看是否上传成功 bin/hdfs dfs -text /usr/hadoop/spark/wc.input

检测hdfs是否脱离安全模式

[root@hadoop-spark hadoop]# bin/hdfs dfsadmin -safemode get

启动spark读取

scala> val rdd=sc.textFile("hdfs://hadoop-spark.dragon.org:8020/user/hadoop/data/wc.input")

scala> rdd.cache()

scala> val wordcount=rdd.flatMap(_.split(" ")).map(x=>(x,1)).reduceByKey(_+_)

scala> wordcount.take(10)

scala> val wordsort=wordcount.map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1))

scala> wordsort.take(10)

转载于:https://www.cnblogs.com/gyadmin/p/8276363.html

上传文本到hdfs上的一些命令相关推荐

解决：idea上传文件到hdfs上有文件无数据问题
阿里云的云服务器,使用内网搭建的集群:一下默认为内网ip 整体环境: xxx:xxx:xxx:xxx master xxx:xxx:xxx:xxx slave1 xxx:xxx:xxx:xxx sl ...
hadoop的hdfs文件操作实现上传文件到hdfs
hdfs文件操作操作示例,包括上传文件到HDFS上.从HDFS上下载文件和删除HDFS上的文件,大家参考使用吧复制代码代码如下: import org.apache.hadoop.conf.Conf ...
HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo
26 集群使用初步 HDFS的设计思路 l 设计思想分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: l 在大数据系统中作用: 为各类分布式 ...
HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo...
26 集群使用初步 HDFS的设计思路 l 设计思想分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: l 在大数据系统中作用: 为各类分布式 ...
php在文本框显示图片,多张图片上传后在页面上可以显示图片，在文本框显示地址怎么解决啊...
下边这个代码是我改的,试了下只能实现其中一个功能,如何可以实现多张图片上传后在页面上可以显示图片,在文本框显示地址呢. K('#J_selectImage').click(function() { e ...
使用Fileupload组件上传文本和文件
使用fileupload组件上传文本和文件绪论使用fileupload组件可以很方便的向服务器上传数据,包括表单数据以及二进制文件,比如pdf.图片视频等等.下面演示如何上传form表单数据以及二 ...
sftp上传文件服务器,使用SFTP上传文件到服务器的简单使用
最近用到SFTP上传文件查找了一些资料后自己做了一点总结,方便以后的查询 /** * 将文件上传到服务器 * * @param filePath * 文件路径 * @param channelSftp ...
html web上传文件原理,Web上传文件的原理及实现
本文为原创,如需转载,请注明作者和出处,谢谢! 现在有很多Web程序都有上传功能,实现上传功能的组件或框架也很多,如基于java的Commons FileUpload.还有Struts1.x和Stru ...
mui ajax 文件上传,MUI的图片上传和压缩
MUI的上传图片目前知道有两种方式,一种见前面文章中关于图片裁切时使用的base64作为字符串上传,另外一种则是本篇章中所使用的plus.uploader方式,它是一种真正意义上的文件上传,我们可以使 ...

上传文本到hdfs上的一些命令

上传文本到hdfs上的一些命令相关推荐

最新文章

热门文章