Centos7.x Hadoop 3.x HDFS 写入文件

操作目的
1、在Linux环境下编写HDFS写文件程序的java文件
2、编译并打包HDFS的写程序
3、执行HDFS的写程序

环境、工具说明
1、先搭建一个 Hadoop 的基础集群环境
参考：Hadoop集群搭建
2、JDK版本：jdk1.8
安装配置过程
3、工具：xshell5
4、VMware 版本：VMware Workstation Pro15
5、Hadoop：3.3.0

在clinet节点上编写HDFS写程序
1、在将要编写 java 程序的节点上配置环境变量
此处我选择了 slave1 节点

[root@slave1 ~]# vim /etc/profile
1
在最后写入如下内容

export JAVA_HOME="/usr/lib/jvm/java-1.8.0"
export JRE_HOME="/usr/lib/jvm/java-1.8.0/jre"
export HADOOP_HOME="/usr/bigdata/hadoop-3.3.0"
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/common/lib/*
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"

使配置的环境变量生效

[root@slave1 ~]# source /etc/profile

编写文件 WriteFile.java
编辑文件

[root@slave1 opt]# vim /opt/WriteFile.java

写入内容

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class WriteFile {
   public static void main(String[] args) throws IOException {
       Configuration conf = new Configuration();
       FileSystem hdfs = FileSystem.get(conf);
       Path dfs = new Path("/HelloHadoop.txt");
       FSDataOutputStream outputStream = hdfs.create(dfs);
       outputStream.writeUTF("HDFS基础操作，新建文件，并写入内容。");
       outputStream.close();
   }
}

2、编译并打包程序 WriteFile.java

[root@slave1 opt]# javac WriteFile.java

查看目录

打包

[root@slave1 opt]# jar -cvf WriteFile.jar WriteFile.class

查看

3、使用 hadoop 的 jar 命令执行 WriteFile.jar

[root@slave1 opt]# hadoop jar ./WriteFile.jar WriteFile

4、查看在 HDFS 创建的文件

[root@slave1 opt]# hadoop fs -ls /
或
[root@slave1 opt]# hdfs dfs -ls /

5、查看文件内容

[root@slave1 opt]# hadoop fs -cat /HelloHadoop.txt
或
[root@slave1 opt]# hdfs dfs -cat /HelloHadoop.txt
至此 Centos7.x Hadoop 3.x HDFS 写入文件操作完毕，希望能够对您有所帮助！

Centos7.x Hadoop 3.x HDFS 写入文件相关推荐

Python向hdfs写入文件与hadoop命令向hdfs写入文件
首先需要安装pyhdfs,可用如下命令安装 pip install pyhdfs 首先我们如果先用hadoop原生命令来操作hdfs(分布式文件系统)上传文件. 命令如下 hadoop fs -put ...
Hadoop学习（ HDFS实现分布式存储：
Hadoop 核心-HDFS 前面提过,大数据的特点是: 体量大类型繁多值密度低产生和处理速度快. 当数据集的大小超过一台独立的物理计算机的存储能力时: 就必须对它进行分区并存储到若干台单独的计 ...
hadoop 提高hdfs删文件效率----hadoop删除文件流程解析
前言这段时间在用hdfs,由于要处理的文件比较多,要及时产出旧文件,但是发现hdfs的blocks数一直在上涨,经分析是hdfs写入的速度较快,而block回收较慢,所以分心了一下hadoop删文件 ...
Hadoop 核心编程之 HDFS 的文件操作
前言本文并没有打算介绍 HDFS 的读写流程,虽然这是一块比较重要的内容.如果你感兴趣,可以去搜索相关资料.如果一遍没有看懂,请看第二遍. 本文还是以代码为主,并附以简短的说明,帮助你理解代码的逻辑 ...
Hadoop之Hadoop企业优化（HDFS小文件优化）
Hadoop之Hadoop企业优化目录 MapReduce 跑的慢的原因 MapReduce优化方法之数据输入 MapReduce优化方法之Map阶段 MapReduce优化方法之Reduce阶段 ...
hadoop实战(三) 使用HDFS操作文件
一.hadoop简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNo ...
Hadoop三大组件之分布式文件操作系统HDFS实现原理及编程
文章目录 HDFS---分布式文件系统分布式文件系统简介 HDFS相关概念 HDFS体系结构 HDFS命名空间 HDFS存储原理 HDFS数据读写过程读的过程-JAVA代码写入文件-JAVA代码 ...
Hadoop（HDFS）文件读写机制
Hadoop(HDFS)文件读写机制一.概述采用Hadoop提供的API进行HDFS文件系统访问,文件读取时默认是顺序.逐block读取:写入时是顺序写入. 二.读写机制首先来看文件读取机制: ...
Hadoop环境下用java代码实现hdfs远程文件的上传和下载
Hadoop环境下用java代码实现hdfs远程文件的上传和下载文章目录 Hadoop环境下用java代码实现hdfs远程文件的上传和下载一.新建maven工程二.文件的上传三.文件的下载四 ...

Centos7.x Hadoop 3.x HDFS 写入文件

Centos7.x Hadoop 3.x HDFS 写入文件相关推荐

最新文章

热门文章