下面的就是hadoop的一些文件基本操作,主要有上传文件,下载文件和删除文件;不过要使用以下功能的需要注意一些地方:

1、要注意是否已经在windows系统配置了域名与ip的映射关系;

2、要操作hdfs系统上的文件时,可以用"/"来代替hdfs的根路径(hdfs://hadoop01:9000/)

import java.io.FileInputStream;

import java.io.FileOutputStream;

import java.io.InputStream;

import java.io.OutputStream;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IOUtils;

import org.junit.Before;

import org.junit.Test;

public class HadoopDemo {

private static FileSystem fs = null;

@Before

public  void init()throws Exception{

//如果没有第三个参数,则在上传文件的时候会出现没有权限的错误,不过这样用是不安全的

//hadoop提供一个叫做kerberos的框架来解决其安全问题

fs = FileSystem.get(new URI("hdfs://hadoop1:9000"), new Configuration(), "root");

}

/*

* 下载文件

*/

@Test

public void downLoad()throws Exception{

InputStream in = fs.open(new Path("/jdk.bin"));     //打开一个输入流

OutputStream out = new FileOutputStream("C:\\jdk_1.7");  //创建一个文件输出流

IOUtils.copyBytes(in, out, 4096, true);   //第三个参数表示缓存的字节数、第四个参数表示当下载完成后,自动关闭流

}

/*

* 上传文件

*/

@Test

public void upLoad()throws Exception{

InputStream in = new FileInputStream("E://android-sdk_r24.3.3-windows.zip"); //创建一个本地的文件输入流

OutputStream out = fs.create(new Path("/ni/android.zip")); //创建一个hdfs的输出流

IOUtils.copyBytes(in, out, 4096, true);

}

/*

* 删除文件

*/

@Test

public void delete()throws Exception{

fs.delete(new Path("/jdk.bin"),true);

}

public static void main(String[] args) throws Exception {

// TODO Auto-generated method stub

}

}

hadoopsdk使用_Hadoop的一些基本操作相关推荐

  1. hadoopsdk使用_hadoop部署使用问题及解决

    在cygwin环境中填写路径信息时务必注意将"\"替换为"/". hadoop文件夹名称不能包含"-",比如"hadoop-2.4 ...

  2. 数据结构(03)— 数据处理基本操作(数据的查找、新增、删除、修改)

    我们先来看一个关于查找的例子.查找,就是从复杂的数据结构中,找到满足某个条件的元素.通常可从以下两个方面来对数据进行查找操作:​ 根据元素的位置或索引来查找: 根据元素的数值特征来查找. 针对上述两种 ...

  3. pytorch方法,Tensor及其基本操作_重点

    由于之前的草稿都没了,现在只有重写-. 我好痛苦 本章只是对pytorch的常规操作进行一个总结,大家看过有脑子里有印象就好,知道有这么个东西,需要的时候可以再去详细的看,另外也还是需要在实战中多运用 ...

  4. Gradle安装使用以及基本操作

    转自:https://www.cnblogs.com/linkstar/p/7899191.html Gradle安装使用以及基本操作 阅读目录 简单介绍 安装 使用idea创建一个web的Gradl ...

  5. c++文件读取空格_程序员术与道:术—C语言对文件进行处理,文件处理的基本操作...

    各种编程语言都实现了文件的基本操作,提供了对应的接口,本篇文章先为你介绍C语言对文件进行处理和文件处理的基本操作.主要从以下几个方面进行介绍: 读取文件 写入文件 重命名文件 读取目录 读取目录下的文 ...

  6. 【Pandas库】(3) DataFrame的创建方法及基本操作

    各位同学好,今天给大家介绍一下Pandas库中DataFrame类型数据的创建方法和基本操作. 文章内容如下: (1)使用字典类创建. 字典类有:①数组.列表.元组构成的字典:②Series构造的字典 ...

  7. 【MySQL】缩略语PK NN UQ BIN UN ZF AI G、基本操作语句

    一.缩略语 PK:primary key 主键 NN:not null 非空 UQ:unique 唯一索引 BIN:binary 二进制数据 UN:unsigned 无符号整数(非负数) ZF:zer ...

  8. MySQL中定义fk语句_MySQL基础篇/第3篇:MySQL基本操作语句.md · qwqoo/MySQL-Review - Gitee.com...

    ### 第3篇:MySQL基本操作语句 - MySQL基础操作 #### 排序检索数据 - 之前的数据没有进行排序,其是按照默认在数据表中的数据返回的 - SELECT语句的ORDER BY 子句进行 ...

  9. OpenCV-Java版学习(3.对视频的基本操作)

    前言 上一节我们学习了使用OpenCV对图像进行一些基础操作,现在我们学习对视频进行一些基础的操作. 对视频的基本操作 从相机中读取视频 我们从电脑自带的摄像头捕捉一段视频并在屏幕上显示出来,代码如下 ...

最新文章

  1. 【NCEPU】韩宇:上海新能源汽车比赛方案讲解
  2. Linux入门-shell使用技巧
  3. 项目背景介绍及文件系统基本概念简介
  4. CSLA.Net 3.0.5 项目管理示例 业务集合基类(ProjectResources.cs,ProjectResource.cs)
  5. TEG Cheers | 腾讯技术工程运维技术沙龙精彩回顾(内置现场视频)
  6. 从Java 11中删除的API
  7. android git上传出现错误,热更新上传patch包时提示上传失败,文件不合法
  8. css border画图
  9. 平安保险的万能险怎么样?
  10. 基于MIMO的无线携能通信系统优化问题的基础知识和研究方向
  11. Android 获取毫秒时间戳
  12. .Net Core——配置系统
  13. 清除显卡右键菜单批处理.bat
  14. LTE核心网中,SGW、PGW、PCRF都有计费的功能,请问这几个网元的计费功能有什么区别与联系呢?...
  15. sklearn机器学习笔记:数据预处理与特征工程
  16. 在京东页面我的那显示寄件服务器,微信上在哪查看京东物流信息
  17. 范里安中级微观经济学(第9版)分析笔记和课后习题答案解析-完整版 范里安《微观经济学:现代观点》(第9版)笔记和课后习题详解!
  18. slam十四讲 _直接法
  19. 官网电子安全证书端口即将到期!新型诈骗短信!
  20. JQuery Marquee插件(无缝滚动效果)- marquee.js

热门文章

  1. 基于spi FLASH的嵌入式文件系统 littlefs(转)
  2. linux下rocksdb的编译安装
  3. spring12----基于@AspectJ的AOP
  4. 【SSH进阶】No result defined for action **的解决方案
  5. odbc数据源的配置
  6. Java 读取txt文件,读取结果保存到数据库
  7. 传智播客Lucene视频教程
  8. Ubuntu 下 libev编译安装
  9. [Microsoft][ODBC SQL Server Driver][SQL Server]String or binary data would be truncated.
  10. 计算机缺考学校知道吗,计算机二级机考缺考成绩单会不会显示缺考啊