一、HDFS基本命令行操作:

1.HDFS集群修改SecondaryNameNode位置到hd09-2(1)修改hdfs-site.xml<configuration>//配置元数据存储位置<property><name>dfs.namenode.name.dir</name><value>/root/hd/dfs/name</value></property>//配置数据存储位置<property><name>dfs.datanode.data.dir</name><value>/root/hd/dfs/data</value></property><property><name>dfs.namenode.secondary.http-address</name><value>hd09-2:50090</value></property>    </configuration>注意上面的第三个<property>不是<property><name>dfs.namenode.secondary.https-address</name><value>hd09-2:50090</value></property>    (2)分发hdfs-site.xml到其他服务器cd /root/hd/hadoop-2.8.4/etc/hadoopscp hdfs-site.xml hd09-2:$PWDscp hdfs-site.xml hd09-3:$PWD(3)hdfs启动命令start-dfs.sh(4)hdfs停止命令stop-dfs.sh2.HDFS集群修改replication(副本数)修改hdfs-site.xml 在<configuration>中加入<property><name>dfs.replication</name><value>3</value></property>其中<value>中的值就是副本数3.HDFS集群修改blocksize(块大小)                修改hdfs-site.xml 在<configuration>中加入<property><name>dfs.blocksize</name><value>134217728</value></property>其中<value>中的值就是块大小,单位是字节(byte)4.hdfs命令行(1)查看帮助hdfs dfs -help (2)查看当前目录信息hdfs dfs -ls /(3)上传文件hdfs dfs -put /本地路径 /hdfs路径(4)剪切文件hdfs dfs -moveFromLocal a.txt /aa.txt(5)下载文件到本地hdfs dfs -get /hdfs路径 /本地路径(6)合并下载hdfs dfs -getmerge /hdfs路径文件夹 /合并后的文件(7)创建文件夹hdfs dfs -mkdir /hello(8)创建多级文件夹hdfs dfs -mkdir -p /hello/world(9)移动hdfs文件hdfs dfs -mv /hdfs路径 /hdfs路径(10)复制hdfs文件hdfs dfs -cp /hdfs路径 /hdfs路径(11)删除hdfs文件hdfs dfs -rm /aa.txt(12)删除hdfs文件夹hdfs dfs -rm -r /hello(13)查看hdfs中的文件hdfs dfs -cat /文件hdfs dfs -tail -f /文件(14)查看文件夹中有多少个文件hdfs dfs -count /文件夹(15)查看hdfs的总空间hdfs dfs -df /hdfs dfs -df -h /(16)修改副本数    hdfs dfs -setrep 1 /a.txt

二、上传文件的简单API:

package com.css.hdfs01;import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;public class HdfsClientDemo01 {public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException {//1.客户端加载配置文件Configuration conf = new Configuration();//2.指定配置(设置成2个副本数)conf.set("dfs.replication", "2");//3.指定块大小conf.set("dfs.blocksize", "64m");//4.构造客户端FileSystem fs = FileSystem.get(new URI("hdfs://192.168.146.132:9000"), conf, "root");//5.上传文件fs.copyFromLocalFile(new Path("c:/words.txt"), new Path("/words.txt"));//6.关闭资源
        fs.close();}
}

HDFS基本命令及上传文件API相关推荐

  1. 微信小程序拍照视频上传php,微信小程序-拍照或选择图片并上传文件

    微信小程序-拍照或选择图片并上传文件 调用拍照API:https://mp.weixin.qq.com/debug/wxadoc/dev/api/media-picture.html?t=201612 ...

  2. java form 上传文件_java通过表单进行文件上传的几种方法

    上传文件的分类: 无论什么方式上传文件,都要用post提交 方式一: 前端:表单方式上传文件 后端: 使用上传技术是apache中的Commons-fileupload.jar commons-io. ...

  3. 小程序上传文件报错uploadFile:fail url scheme is invalid,uploadFile:fail createUploadTask:fail Error: Invalid

    今天在这里记录一个很蠢的问题. 问题 最近用小程序的上传文件 API(wx.uploadFile) 上传音频,这个 API 说白了就是比 wx.request 多带了个请求头 multipart/fo ...

  4. IE9 input 上传文件

    需要引用jquery.form.js <script type="text/javascript" src="jquery.form.js">< ...

  5. 阿里云使用idea通过hdfs api来上传文件时出现could only be written to 0 of the 1 minReplication nodes.错误

    问题描述: 使用阿里云服务器,在本地windows电脑上使用idea进行hdfs api操作来上传文件时出现错误如下: org.apache.hadoop.ipc.RemoteException(ja ...

  6. 用JAVA API实现HDFS常用shell命令的功能(新建文件夹,上传文件,下载文件,判断文件是否存在)

    新建文件夹 package hdfs.files;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Fi ...

  7. 阿里云服务器Hadoop java api 上传文件报错 could only be written to 0 of the 1 minReplication nodes.

    问题描述 阿里云服务器命令行使用命令可以上传文件,但HDFS java API上传失败,上传后只有文件名没有数据 报错: could only be written to 0 of the 1 min ...

  8. hadoop的hdfs文件操作实现上传文件到hdfs

    hdfs文件操作操作示例,包括上传文件到HDFS上.从HDFS上下载文件和删除HDFS上的文件,大家参考使用吧 复制代码代码如下: import org.apache.hadoop.conf.Conf ...

  9. php 下 html5 XHR2 + FormData + File API 上传文件

    FormData的作用: FormData对象可以帮助我们自动的打包表单数据,通过XMLHttpRequest的send()方法来提交表单.当然FormData也可以动态的append数据.FormD ...

最新文章

  1. Android数据存储之SharedPreferences
  2. C/C++中static关键字详解
  3. 提交代码到GitHub,小绿格却不增加?
  4. 线性代数 第一章 行列式
  5. php foreach 循环 判断index 小于多少_PHP设计模式之迭代器模式 - 硬核项目经理
  6. LeetCode 926. 将字符串翻转到单调递增(动态规划)
  7. Docker Consul 安装及使用服务发现
  8. lt;++mysql_php+js+mysql设计的仿webQQ-lt;1gt;邮箱验证
  9. 深入掌握JMS(四):实战Queue
  10. Ubuntu开发者峰会在布拉格举行
  11. 33_向路由组件传递数据
  12. 要抢足球教练饭碗!切尔西未来或将用上AI教练
  13. [nRF51822] 1、一个简单的nRF51822驱动的天马4线SPI-1.77寸LCD彩屏DEMO
  14. 刚接触新工作的程序员:不会打开终端窗口
  15. word自动图文集,制表位实现公式对齐,域代码,mathtype自动公式右编号
  16. 好用的三维绘图软件CREO绘制椭圆
  17. [玩法/技巧] Transmission 3.0 降级到 2.94 恢复数据的方法
  18. 台积电工厂突发停电:或损失2亿元
  19. 解决微信公众平台IP白名单
  20. 正大市场监管总局、发改委、证监会联合提醒告诫部分铁矿石

热门文章

  1. jar 包的认识与处理、jar 文件 war 文件以及 ear 文件
  2. 概率编程语言(Probabilistic Programming Languages)库 —— edward
  3. php screw.so扩展下载,CentOS下安装php加解密工具php
  4. c++输出小数点后几位_Python格式化输出:%s和format()用法比较
  5. python3.5安装步骤-win7安装python3.5
  6. 笔记本电脑下载python视频-笔记本怎样安装Python64位的?
  7. 自学python好找工作么-Python就业前景如何?培训后好找工作吗?
  8. python装饰器详解-Python装饰器基础详解
  9. python入门指南 许半仙txt-影帝的脑子坏了
  10. python三本经典书籍-关于 Python 的经典入门书籍有哪些?