主代码

package api;import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;/*** 使用流的方式上传下载* @author potter**/
public class HDFS_GET_AND_PUT {public static void main(String[] args) throws Exception {Configuration conf = new Configuration();conf.set("fs.defaultFS", "hdfs://potter2:9000");System.setProperty("HADOOP_USER_NAME","potter");FileSystem fs = FileSystem.get(conf);//上传
//        fs.copyFromLocalFile(new Path("D:/aaa.txt"), new Path("/"));//下载
//        fs.copyToLocalFile(new Path("/aaa.txt"), new Path("D:/sss.txt"));/*** 使用流的方式上传文件*///读取本地文件InputStream in = new FileInputStream("D:/111.zip");//在Hdfs上创建一个文件，返回输出流OutputStream out = fs.create(new Path("/111.zip"));//输入 ---》  输出IOUtils.copyBytes(in, out, 4096, true);/*** 使用流的方式下载文件*///读取HDFS上的文件/*InputStream in = fs.open(new Path("/words.txt"));//在本地创建一个文件，返回输出流OutputStream out = new FileOutputStream("D:/word.txt");IOUtils.copyBytes(in, out, 4096, true);*/fs.close();}
}

转载于:https://www.cnblogs.com/sangumaolu/p/8545619.html

HDFS使用流的方式上传下载相关推荐

云计算学习笔记004---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载
1.Hadoop简介 1.hadoop的诞生 l Nutch和Lucene之父Doug Cutting在2006年完成Hadoop项目. l Hadoop并不是一个单词,它来源于DougCutti ...
安装、进程-云计算学习笔记---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载-by小雨...
本文是一篇关于安装.进程-的帖子 1.Hadoop简介 1.hadoop的生诞 l Nutch和Lucene之父Doug Cutting在2006年成完Hadoop目项. l Hadoop并非一个 ...
IOS--工作总结－－post上传文件（以流的方式上传）
1.添加协议 <NSURLConnectionDelegate> 2.创建 @property (nonatomic,retain) NSURLConnection* aSynConnec ...
Linux 普通用户拿到root权限及使用szrz命令上传下载文件
1.如何拿到root权限在shell里如果看到你的命令输入行最前面显示的是 $符号,说明目前账号只有系统的普通权限. 输入:sudo su 这时能看到shell的输入行最前面已经显示的是#号,说明已 ...
linux上传文件权限命令,Linux 普通用户拿到root权限及使用szrz命令上传下载文件...
1.如何拿到root权限在shell里如果看到你的命令输入行最前面显示的是 $符号,说明目前账号只有系统的普通权限. 输入:sudo su 这时能看到shell的输入行最前面已经显示的是#号,说明已 ...
使用PDH性能计数器(Windows)获取CPU使用率、可用物理内存、上传/下载速率、磁盘读写速率
最近要写一个windows下的监控客户端,需要收集计算机的一些信息. 其中CPU使用率.可用物理内存(用于计算内存使用率).上传/下载速率.磁盘读写速率,都需要实时的.各种资料查询之后,决定使用pdh ...
linux快捷上传下载文件
借助securtCRT,使用linux命令sz可以很方便的将服务器上的文件下载到本地,使用rz命令则是把本地文件上传到服务器其中,对于sz和rz的理解与记忆我用了如下的方法(因为很多时候容易搞混): ...
linux上很方便的上传下载文件工具rz和sz使用介绍
简单说就是,可以很方便地用这两个sz/rz工具,实现Linux下和Windows之间的文件传输(发送和接收),速度大概为10KB/s,适合中小文件.rz/sz 通过Zmodem协议传输数据一般来说, ...
rz、sz （上传下载）命令参数的解释
$ man rz,查看帮助: -a, –ascii -b, –binary 用binary的方式上传下载,不解释字符为 ascii -e, –escape 强制escape 所有控制字符,比如 Ctr ...

HDFS使用流的方式上传下载

主代码

HDFS使用流的方式上传下载相关推荐

最新文章

热门文章