hadoop学习笔记（八）：Java HDFS API
hadoop学习笔记（八）：Java HDFS API
阅读目录
- 一、使用HDFS FileSystem详解
回到顶部
一、使用HDFS FileSystem详解
HDFS依赖的第三方包：
hadoop 1.x版本：
commons-configuration-1.6.jar
commons-lang-2.4.jar
commons-loggin-1.1.1.jar
hadoop-core-1.2.1.jar
log4j-1.2.15.jar
hadoop2.x版本：
hadoop-mapreduce-client-core-2.2.0.jar
hadoop-common-2.2.0.jar
hadoop-mapreduce-client-common-2.2.0.jar
hadoop-mapreduce-client-jobclient-2.2.0.jar
注意：可根据自身的情况和版本信息手动添加或maven仓库依赖。
文件操作
1 工具类的创建：
创建一个工具类HDFSUtils，主要用来加载公共信息：
HDFSUtils
2 上传文件到HDFS
上传文件
3 读取文件
读取文件
查看目录
4 在hadoop fs中新建文件，并写入
创建文件
创建文件并写入内容
5 重命名文件
重命名
6 删除hadoop fs上的文件
删除
HDFS信息
1 查找某个文件在HDFS集群中的位置
查找某个文件在HDFS中的位置
2 获取HDFS集群上所有节点名称信息
获取HDFS集群上所有节点名称信息
hadoop学习笔记（八）：Java HDFS API相关推荐
- Hadoop学习笔记之HDFS
Hadoop学习笔记之HDFS HDFS (Hadoop Distributed File System) 优点 缺点 HDFS操作 命令操作HDFS Web端操作HDFS Java操作HDFS HD ...
- Hadoop学习笔记（四）HDFS部分下
Hadoop学习笔记(四)HDFS部分下 一.HDFS 的数据流 1.1 HDFS的写数据流程 客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件,Nam ...
- Hadoop学习笔记一 简要介绍
Hadoop学习笔记一 简要介绍 这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的.其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了.我的这一 ...
- hadoop学习笔记-目录
以下是hadoop学习笔记的顺序: hadoop学习笔记(一):概念和组成 hadoop学习笔记(二):centos7三节点安装hadoop2.7.0 hadoop学习笔记(三):hdfs体系结构和读 ...
- Hadoop学习笔记—16.Pig框架学习
Hadoop学习笔记-16.Pig框架学习 一.关于Pig:别以为猪不能干活 1.1 Pig的简介 Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin, ...
- Hadoop学习笔记(1) ——菜鸟入门
Hadoop学习笔记(1) --菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分布式系统基础架构,由Apache基金会所开发.用户能够在不了解分布式底层细节的情况下.开发分布式 ...
- Hadoop学习笔记(1)
原文:http://www.cnblogs.com/zjfstudio/p/3859704.html Hadoop学习笔记(1) --菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分 ...
- Hadoop学习笔记—4.初识MapReduce
一.神马是高大上的MapReduce MapReduce是Google的一项重要技术,它首先是一个 编程模型 ,用以进行大数据量的计算.对于大 数据量的计算,通常采用的处理手法就是并行计算.但对许多开 ...
- Hadoop学习笔记—10.Shuffle过程那点事儿
Hadoop学习笔记-10.Shuffle过程那点事儿 一.回顾Reduce阶段三大步骤 在第四篇博文<初识MapReduce>中,我们认识了MapReduce的八大步骤,其中在Reduc ...
最新文章
- 【转】符串搜索工具及XenoCode字符串自动解密工具
- 推荐一个Asp.Net Core工具库
- java ajax 导出excel文件_springMVC(4)---生成excel文件并导出
- linux svn可视化工具,CentOS6.5安装SVN 可视化管理工具iF.SVNAdmin
- DMA及cache一致性的学习心得 --dma_alloc_writecombine
- 图像增强处理之：同态滤波与Retinex算法(一)同态滤波
- 软件是如何做到控制芯片电路的闭合的？
- [C#]Excel画斜线以及Excel宏的利用
- 从区块链到DAG（三）--DAG共识之SPECTRE协议
- pr使用视频素材技巧
- Nature Cell Biology：揭示 PI3K-Akt 信号通路新机制，有望成为癌症治疗新靶点
- cocos2d-x游戏开发 跑酷(四) 关联物理世界
- Modeling Task Relationships in Multi-task Learning withMulti-gate Mixture-of-Experts
- 在vue里使用reset.css
- PHP一句话木马Webshell变形免杀总结
- bash中正确处理文件或路径名中的空格
- 数据看板用什么软件做比较好-九数云
- 拼图游戏-恶搞整蛊表白软件
- Vegas色键的使用技巧
- 无人机送快递是噱头还是方向？ 实现智慧物流还需时日