hdfs文件如何导出到服务器,[Hadoop] 如何将 HDFS 文件导出到 Windows文件系统

介绍如何在 Windows 环境中, 将保存在 HDFS 上的文件导出到本机上

数据导入到 HDFS 后

当然也要有方法将数据从 HDFS 导出到本机系统上

在 HADOOP JAVA API 所提供的 FileSystem 类

就提供 copyToLocalFile 函数将文件复制回本机文件系统

理论上这是可以轻易的做到这件事情

但实际使用时, 才发现一个问题

当客户端用的是 windows 而不是 linux

程序也不是在 cluster 主机上执行时

此时调用 copyToLocalFile 函数

Hadoop 会丢出一个例外:

Cannot run program "chmod": CreateProcess error=2, ?t?Χ??????

解决方法是在电脑上安装 cygwin

这样 hadoop 就可以调用到 chmod 命令

但如果要求所有使用者一定要在 window 上安装 cygwin 这样也挺怪的

所以想到了另一个方法

就是直接用 file stream 方式

将 HDFS 数据读出后, 再写回本地端的文件系统

这样就可以解决数据导出的问题

将 HDFS 上文件, 导出至本机磁盘上

public void exportFile(Path hdfsSource, String targetPath){

Configuration conf = new Configuration();

conf.set("hadoop.job.ugi","hadoop,supergroup");

String uri="hdfs://cloud-a:9000";

try{

FileSystem fs = FileSystem.get(URI.create(uri),conf);

FSDataInputStream in = fs.open(hdfsSource);

FileOutputStream fos = new FileOutputStream(targetPath);

int bytesRead;

byte[] buffer = new byte[4096];

while ((bytesRead = in.read(buffer)) > 0) {

fos.write(buffer, 0, bytesRead);

}

in.close();

fos.close();

//使用 copyToLocalFile 会丢出 Cannot run program "chmod"例外

//fs.copyToLocalFile(hdfsSource, new Path(targetPath));

} catch (Exception e) {

System.out.println(e.getMessage());

}

hdfs文件如何导出到服务器,[Hadoop] 如何将 HDFS 文件导出到 Windows文件系统相关推荐

app文件上传到服务器教程,app上传文件到云服务器
app上传文件到云服务器内容精选换一换本节操作以CentOS操作系统为例,介绍配置SFTP.使用SFTP上传或下载文件.文件夹的操作步骤.以root用户登录云服务器.执行以下命令查看ssh版本, ...
c 服务器文件是存在,客户端服务器在较大的文件的c文件传输问题
下面的代码适用于最后一个数据包包含的数据少于最大长度的较小文件,该功能通过显示接收到的文件正确退出. 如果传输的文件的最后一个数据包或缓冲区包含与我的情况下接收缓冲区阵列512的大小相同的确切数量.然 ...
服务器获取密钥文件,如何获取云服务器时使用的私钥文件
如何获取云服务器时使用的私钥文件内容精选换一换用户通过管理控制台创建或者导入密钥对后,在购买弹性云服务器时,登录方式选择密钥对,并选择创建或者导入的密钥对.用户购买弹性云服务器成功后,可使用密钥 ...
asp.net fileupload 文件上传后服务器上找不到文件,Asp.net中FileUpload控件上传文件例子...
FileUpload 控件显示一个文本框控件和一个浏览按钮,使用户可以选择客户端上的文件并将它上载到 Web 服务器.用户通过在控件的文本框中输入本地计算机上文件的完整路径(例如,C:\MyFiles ...
php 自定义文件后缀,自定义更改服务器asp/php/.net等文件后缀名
现在很多网站都更改了文件名后缀,比如将index.aspx改为index.do文件名,或将index.asp?id=1改为index.html?id=1,其实也没什么好处,唯一好处就是让人家不知道是什 ...
node将当前文件上传到服务器,以编程方式将文件从node.js上传到另一个Web服务器...
我需要将文件从node.js应用程序推送到其他地方运行的Web服务器,该服务器通过典型的上载机制接受文件.例如,假设接收服务器有一个网页,这样的形式:以编程方式将文件从node.js上传到另一个Web ...
linux终端跟苹果手机传文件,【Linux】服务器与本地机传输文件--MAC
总是会遇到在服务器与本地电脑之间上下传输文件的场景,那这个时候我们该怎么做呢? 基础版利用httpfileserver进行传输首先,在服务器上执行命令: jumbo install python- ...
macbook服务器文件,使用MacBook生成服务器使用的p12证书文件
#将aps_development.cer转换成aps_development.pem格式 openssl x509 -in aps_development.cer -inform DER -out ...
小米删除了文件无网络无服务器,小米手机里的文件删了怎么恢复？超详细解决方法...
手机里文件被删除后,虽然很心疼,但是却不知道要怎么找回数据,所以许多小伙伴们都错失了恢复误删文件的机会.今天我就以小米手机为例,和大家分享:安卓手机里的文件删除了怎么恢复的操作技巧. 如果是手机照片恢 ...

hdfs文件如何导出到服务器,[Hadoop] 如何将 HDFS 文件导出到 Windows文件系统

hdfs文件如何导出到服务器,[Hadoop] 如何将 HDFS 文件导出到 Windows文件系统相关推荐

最新文章

热门文章