hadoop在windows上的环境配置及HDFS API编程示范

1、将Hadoop压缩包解压放在指定目录

2、Hadoop本地环境配置
新建一个HADOOP_HOME

添加path

3、
安装maven，解决java开发依赖问题
这里可以直接去官网上下载
https://maven.apache.org/

<mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <mirrorOf>central</mirrorOf> </mirror>

把这里的配置文件做一下修改，原来的默认在官网下载，没做翻墙的话由于连接国际互联网速度慢且受限，所以这里我们可以连接阿里的镜像。位置大概在150-160行之间。

    <dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.7.3</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.7.3</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>2.7.3</version></dependency>

把这段代码添加到pom.xml里

HDFS的API编程

package Test.com.test;import java.io.IOException;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;public class UploadFile {//  @SuppressWarnings("deprecation")public static void main(String[] args) {// 实例化confConfiguration conf = new Configuration();conf.set("fs.defaultFS", "hdfs://192.168.2.101:9000");System.setProperty("HADOOP_USER_NAME", "root");// 实例化文件系统try {FileSystem fs = FileSystem.get(conf);// 文件下载操作//fs.copyFromLocalFile(new Path("E:/student.txt"), new Path("/data"));// 文件夹删除操作//fs.delete(new Path("/banhua.txt"), true);//修改文件名称//fs.rename(new Path("/dashuju/jj.txt"), new Path("/data/banhua.txt"));//创建文件夹//fs.mkdirs(new Path("/add"));//在创建的文件夹下添加文件//fs.mkdirs(new Path("/add/wyg.txt"));// 2 获取文件详情
//          RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
//
//          while(listFiles.hasNext()){//              LocatedFileStatus status = listFiles.next();
//
//              // 输出详情
//              // 文件名称
//              System.out.println(status.getPath().getName());
//              // 长度
//              System.out.println(status.getLen());
//              // 权限
//              System.out.println(status.getPermission());
//              // 分组
//              System.out.println(status.getGroup());
//
//              // 获取存储的块信息
//              BlockLocation[] blockLocations = status.getBlockLocations();
//
//              for (BlockLocation blockLocation : blockLocations) {//
//                  // 获取块存储的主机节点
//                  String[] hosts = blockLocation.getHosts();
//
//                  for (String host : hosts) {//                      System.out.println(host);
//                  }
//              }
//
//              System.out.println("-----------已有的文件信息----------");
//          }//2 判断是文件还是文件夹FileStatus[] listStatus = fs.listStatus(new Path("/"));for (FileStatus fileStatus : listStatus) {// 如果是文件if (fileStatus.isFile()) {System.out.println("f:"+fileStatus.getPath().getName());}else {System.out.println("d:"+fileStatus.getPath().getName());}}fs.close();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}}}

hadoop在windows上的环境配置及HDFS API编程示范相关推荐

hadoop在windows中的环境变量配置
hadoop3.1.0 window win7 基础环境搭建前言:在windows上部署hadoop默认都是安装了java环境的哈. 1.下载hadoop3.1.0 https://mirrors. ...
YOLOX——Windows 10下环境配置
前言 1.最近非常火的YOLOX,是旷视提出并开源新一代实时目标检测网络,具体的算法原理和性能可以转到github,想上手试试,如果是Linux话,可以按照官方文档给步骤一步步执行下去就可以了,是Wi ...
Windows上PostgreSQL安装配置教程
这篇文章主要为大家详细介绍了Windows上PostgreSQL安装配置教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 PostgreSQL的扩展PostGIS是最著名的开源GIS数据库. ...
windows实战Git环境配置msysGit+TortoiseGit(zz)
windows实战Git环境配置msysGit+TortoiseGit 发表于: 2010-08-17 14:46 查看: 2,047 次点击评论:0 标签: git, msysgit, Torto ...
Windows下LLVM环境配置
Windows下LLVM环境配置目录 Windows下LLVM环境配置 1. 命令行下载并构建VS 2017项目 2. 项目构建过程中出现的细节 3. 心得体会 4. 参考文献 1. 命令行下载并构 ...
PHP 1:在Windows上安装和配置PHP，Apache和My SQL
PHP 1:在Windows上安装和配置PHP,Apache和My SQL 原文:PHP 1:在Windows上安装和配置PHP,Apache和My SQL 如果你Google一把类似的主题,你会发现 ...
怎样安装python在桌面_在Windows上安装和配置 Jupyter Lab 作为桌面级应用程序教程...
什么是 Jupyter Lab Jupyter Lab 是 Jupyter notebook 的升级版,优点这里不作赘述. 一.安装 Jupyter Lab 如果你安装了 Anaconda,最新版的 ...
Oracle 12cR1 RAC 在VMware Workstation上安装(上)—OS环境配置
Oracle 12cR1 RAC 在VMware Workstation上安装(上)-OS环境配置 1.1 整体规划部分 1.1.1 所需软件介绍 Oracle RAC不支持异构平台.在同一个集群 ...
（Mali Graphics Debugger）MGD 在 64bit Arm Based Rooted Android 7+ 及 Windows 上的快速配置
一,安装 Windows .exe 文件下载地址: https://armkeil.blob.core.windows.net/developer/Files/downloads/mgd/4.7.0 ...
hadoop学习笔记（八）：Java HDFS API
hadoop学习笔记(八):Java HDFS API 阅读目录一.使用HDFS FileSystem详解回到顶部一.使用HDFS FileSystem详解 HDFS依赖的第三方包: hadoo ...

hadoop在windows上的环境配置及HDFS API编程示范

hadoop在windows上的环境配置及HDFS API编程示范相关推荐

最新文章

热门文章