Hadoop学习（二）---Secondary结点的配置以及HDFS的常用命令以及API的使用

1.将secondary节点服务器备份其他机器上

首先关闭集群，

stop-dfs.sh

然后在hadoop的文件夹下进入hdfs-site.xml\,添加

<property><name>dfs.namenode.secondary.http-address</name><value>hadoop01:50090</value><description>The secondary namenode http server address and port.</description>
</property>

退出并保存，然后启动hdfs集群

start-dfs.sh

2.杀死进程：

kill -9 进程id

3.hdfs基本命令与简单的api应用。

hdfs的客户端：(都是测试用的）
网页形式：ip：port
命令行形式
企业级api

查看帮助：

hdfs dfs -help

查看当前目录信息：

hdfs dfs -ls /

-ls后面是路径

4.更改replication

<property><name>dfs.replication</name><value>3</value><description>Default block replication. The actual number of replications can be specified when the file is created.The default is used if replication is not specified in create time.</description>
</property>

5.更改块数据大小

<property><name>dfs.blocksize</name><value>134217728</value><description>The default block size for new files, in bytes.You can use the following suffix (case insensitive):k(kilo), m(mega), g(giga), t(tera), p(peta), e(exa) to specify the size (such as 128k, 512m, 1g, etc.),Or provide complete size in bytes (such as 134217728 for 128 MB).</description>
</property>

6.上传文件：

hdfs dfs -put 本地路径 /hdfs路径

7.剪切文件：

hdfs dfs -moveFromLocal a.txt /aa.txt

8.下载文件到本地：

hdfs dfs -get /hdfs路径 /本地路径

9.文件合并并下载到本地：

hdfs dsf -getmerge / /本地文件

10.创建文件夹：

hdfs dfs -mkdir  /文件夹名

11.创建多级文件夹：

hdfs dfs -mkdir -p /aaa/bbb/ccc

12.移动hdfs文件：

hdfs dfs -mv /a.txt /aaa

13.复制hdfs文件:

hdfs dfs -cp /a.txt /aaa/bbb

14.删除hdfs文件：

hdfs dfs -rm -r /aaaa

15.查看hdfs下的文件：

hdfs dfs -cat /aa.txthdfs dfs -tail -f /aa.txt

16.查看文件夹下有多少个文件：

hdfs dfs -count /aaa

包括该文件夹一共几个文件夹文件的个数文件的大小
17.查看hdfs的总空间：

 hdfs dfs -df / 根目录hdfs dfs -df -h / 格式

17.API的使用

首先要解压hadoop的jar包，然后配置hadoop的环境变量
HADOOP_HOME=F:\tar包\hadoop 2.8.4
PATH路径后面加上%HADOOP_HOME%\bin
确认hadoop配置的jdk的路径

在hadoop 2.8.4\etc\hadoop找到hadoop-env.cmd

右键用一个文本编辑器打开

找到 set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_181

6.配置好上面所有操作后，win+R 输入cmd打开命令提示符，然后输入hadoop version，按回车，如果出现如图所示结果，则说明安装成功

package hdfs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;public class HdfsClientDemO {public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException {//客户端加载文件Configuration conf=    new Configuration();//指定配置(设置两个副本）conf.set("dfs.replication", "2");//指定块大小conf.set("dfs.blocksize", "128");//构造客户端FileSystem fs=FileSystem.get(new URI("hdfs://192.168.146.137:9000"), conf, "root");   //上传文件fs.copyFromLocalFile(new Path("f:/test.txt"), new Path("/word.txt"));//关闭资源fs.close();    }
}

Hadoop学习（二）---Secondary结点的配置以及HDFS的常用命令以及API的使用相关推荐

OpenStack（M）+ ubuntu 搭建学习二：基础环境配置
目录一.配置网络接口二.配置域名解析三 .配置国内的软件源四. 启用OpenStack库五.安装OpenStack客户端六.同步系统时钟与时钟服务器(NTP) 具体步骤可参考官方文档:Op ...
hadoop学习笔记（八）：Java HDFS API
hadoop学习笔记(八):Java HDFS API 阅读目录一.使用HDFS FileSystem详解回到顶部一.使用HDFS FileSystem详解 HDFS依赖的第三方包: hadoo ...
【Docker学习笔记二】Docker安装、运行流程与常用命令
上一篇Blog详细介绍了Docker为什么会出现,是为了解决什么问题而出现:Docker的基本组成部分.架构.本篇Blog就来详细了解下Docker如何安装.卸载以及常用的操作命令有哪些.因为Dock ...
Linux学习笔记（一）（服务器环境搭配常用命令文件属性）
Linux学习笔记(一) 概述 Linux发行版 Linux应用 Linux系统运行级别远程环境配置连接服务器安装宝塔配置环境测试测试连接Tomcat 测试访问网站测试上传学习Linu ...
kafka安装、配置、启动、常用命令及shell启动脚本编写
config :kafka配置文件所在目录 server.properties 主要配置文件 zookeeper.properties kafka内置了zk,一般要将其替换掉以下关于生产 ...
[0002] Hadoop HDFS cmd常用命令练手
目的: 学会HDFS CLI 常用操作环境: Hadoop 2.6.4 伪分布式版环境搭建参考本博客前篇文章: 伪分布式 hadoop 2.6.4 帮助: hadoop@ssmaster:~$ h ...
Oracle的学习一：安装与卸载、sql *plus常用命令、Oracle用户管理
1.为什么学习oracle? 性能优越: 小型数据库中型数据库大型数据库 acess.foxbase mysql.sql server.informix sybase.oracle.db2 复杂量 ...
配置华为路由器的常用命令
本次实验所有的命令都是基于华为模拟器eNSP,我们首先从左边拖动一个路由器到主界面,右键启动路由器: 等待路由器启动起来,就可以进行命令行的操作了: 在输入命令之前,我们需要首先了解配置时的两个模式: ...
Hadoop学习问题4：Windows10配置hadoop后使用hadoop命令失败问题
问题描述 Windows 10配置好hadoop环境变量后,使用hadoop命令报错如下: Error: JAVA_HOME is incorrectly set. 问题分析 hadoop依赖Java ...
Win2008学习(二),群集的仲裁配置
当群集中的节点发生故障时,会有其它节点继续提供服务.不过,当节点之间的通信有问题或太多故障节点时,群集服务就会停止,可是群集可以容纳多少个节点故障呢?这要由仲裁配置(Quorum Configurat ...