hadoopsdk使用_Hadoop的一些基本操作
下面的就是hadoop的一些文件基本操作,主要有上传文件,下载文件和删除文件;不过要使用以下功能的需要注意一些地方:
1、要注意是否已经在windows系统配置了域名与ip的映射关系;
2、要操作hdfs系统上的文件时,可以用"/"来代替hdfs的根路径(hdfs://hadoop01:9000/)
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;
public class HadoopDemo {
private static FileSystem fs = null;
@Before
public void init()throws Exception{
//如果没有第三个参数,则在上传文件的时候会出现没有权限的错误,不过这样用是不安全的
//hadoop提供一个叫做kerberos的框架来解决其安全问题
fs = FileSystem.get(new URI("hdfs://hadoop1:9000"), new Configuration(), "root");
}
/*
* 下载文件
*/
@Test
public void downLoad()throws Exception{
InputStream in = fs.open(new Path("/jdk.bin")); //打开一个输入流
OutputStream out = new FileOutputStream("C:\\jdk_1.7"); //创建一个文件输出流
IOUtils.copyBytes(in, out, 4096, true); //第三个参数表示缓存的字节数、第四个参数表示当下载完成后,自动关闭流
}
/*
* 上传文件
*/
@Test
public void upLoad()throws Exception{
InputStream in = new FileInputStream("E://android-sdk_r24.3.3-windows.zip"); //创建一个本地的文件输入流
OutputStream out = fs.create(new Path("/ni/android.zip")); //创建一个hdfs的输出流
IOUtils.copyBytes(in, out, 4096, true);
}
/*
* 删除文件
*/
@Test
public void delete()throws Exception{
fs.delete(new Path("/jdk.bin"),true);
}
public static void main(String[] args) throws Exception {
// TODO Auto-generated method stub
}
}
hadoopsdk使用_Hadoop的一些基本操作相关推荐
- hadoopsdk使用_hadoop部署使用问题及解决
在cygwin环境中填写路径信息时务必注意将"\"替换为"/". hadoop文件夹名称不能包含"-",比如"hadoop-2.4 ...
- 数据结构(03)— 数据处理基本操作(数据的查找、新增、删除、修改)
我们先来看一个关于查找的例子.查找,就是从复杂的数据结构中,找到满足某个条件的元素.通常可从以下两个方面来对数据进行查找操作: 根据元素的位置或索引来查找: 根据元素的数值特征来查找. 针对上述两种 ...
- pytorch方法,Tensor及其基本操作_重点
由于之前的草稿都没了,现在只有重写-. 我好痛苦 本章只是对pytorch的常规操作进行一个总结,大家看过有脑子里有印象就好,知道有这么个东西,需要的时候可以再去详细的看,另外也还是需要在实战中多运用 ...
- Gradle安装使用以及基本操作
转自:https://www.cnblogs.com/linkstar/p/7899191.html Gradle安装使用以及基本操作 阅读目录 简单介绍 安装 使用idea创建一个web的Gradl ...
- c++文件读取空格_程序员术与道:术—C语言对文件进行处理,文件处理的基本操作...
各种编程语言都实现了文件的基本操作,提供了对应的接口,本篇文章先为你介绍C语言对文件进行处理和文件处理的基本操作.主要从以下几个方面进行介绍: 读取文件 写入文件 重命名文件 读取目录 读取目录下的文 ...
- 【Pandas库】(3) DataFrame的创建方法及基本操作
各位同学好,今天给大家介绍一下Pandas库中DataFrame类型数据的创建方法和基本操作. 文章内容如下: (1)使用字典类创建. 字典类有:①数组.列表.元组构成的字典:②Series构造的字典 ...
- 【MySQL】缩略语PK NN UQ BIN UN ZF AI G、基本操作语句
一.缩略语 PK:primary key 主键 NN:not null 非空 UQ:unique 唯一索引 BIN:binary 二进制数据 UN:unsigned 无符号整数(非负数) ZF:zer ...
- MySQL中定义fk语句_MySQL基础篇/第3篇:MySQL基本操作语句.md · qwqoo/MySQL-Review - Gitee.com...
### 第3篇:MySQL基本操作语句 - MySQL基础操作 #### 排序检索数据 - 之前的数据没有进行排序,其是按照默认在数据表中的数据返回的 - SELECT语句的ORDER BY 子句进行 ...
- OpenCV-Java版学习(3.对视频的基本操作)
前言 上一节我们学习了使用OpenCV对图像进行一些基础操作,现在我们学习对视频进行一些基础的操作. 对视频的基本操作 从相机中读取视频 我们从电脑自带的摄像头捕捉一段视频并在屏幕上显示出来,代码如下 ...
最新文章
- 【NCEPU】韩宇:上海新能源汽车比赛方案讲解
- Linux入门-shell使用技巧
- 项目背景介绍及文件系统基本概念简介
- CSLA.Net 3.0.5 项目管理示例 业务集合基类(ProjectResources.cs,ProjectResource.cs)
- TEG Cheers | 腾讯技术工程运维技术沙龙精彩回顾(内置现场视频)
- 从Java 11中删除的API
- android git上传出现错误,热更新上传patch包时提示上传失败,文件不合法
- css border画图
- 平安保险的万能险怎么样?
- 基于MIMO的无线携能通信系统优化问题的基础知识和研究方向
- Android 获取毫秒时间戳
- .Net Core——配置系统
- 清除显卡右键菜单批处理.bat
- LTE核心网中,SGW、PGW、PCRF都有计费的功能,请问这几个网元的计费功能有什么区别与联系呢?...
- sklearn机器学习笔记:数据预处理与特征工程
- 在京东页面我的那显示寄件服务器,微信上在哪查看京东物流信息
- 范里安中级微观经济学(第9版)分析笔记和课后习题答案解析-完整版 范里安《微观经济学:现代观点》(第9版)笔记和课后习题详解!
- slam十四讲 _直接法
- 官网电子安全证书端口即将到期!新型诈骗短信!
- JQuery Marquee插件(无缝滚动效果)- marquee.js
热门文章
- 基于spi FLASH的嵌入式文件系统 littlefs(转)
- linux下rocksdb的编译安装
- spring12----基于@AspectJ的AOP
- 【SSH进阶】No result defined for action **的解决方案
- odbc数据源的配置
- Java 读取txt文件,读取结果保存到数据库
- 传智播客Lucene视频教程
- Ubuntu 下 libev编译安装
- [Microsoft][ODBC SQL Server Driver][SQL Server]String or binary data would be truncated.
- 计算机缺考学校知道吗,计算机二级机考缺考成绩单会不会显示缺考啊