大数据之-Hadoop之HDFS的API操作_定位读取文件_只读取某个block的内容

然后我们再来看看,如果我们的文件比较大,比如一个文件有10g,这个如果是个日志文件的话,

我们只读取最新的128M可以嘛?

因为我们只关心最新的日志对吧.

是可以的.

首先我们上传一个大点的文件,去hdfs中去,比如这个

hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz / 上传到根目录

然后我们去看看,可以看到

有个block0

size是1

大数据之-Hadoop之HDFS的API操作_定位读取文件_只读取某个block的内容_案例---大数据之hadoop工作笔记0065相关推荐

大数据之-Hadoop之HDFS的API操作_判断是文件还是文件夹---大数据之hadoop工作笔记0062
然后我们再来看看,利用hadoop的hdfs的java的api来判断,当前的给出的路径是个文件夹还是个文件. 我们写一下代码,我们判断根目录下的所有文件,循环判断是文件还是文件并打印可以看到我们执 ...
大数据之-Hadoop之HDFS的API操作_修改文件的名称---大数据之hadoop工作笔记0060
然后我们再去看看文件的名称的修改. 可以看到用的rename的hadoop的hdfs的java的api 执行前可以看到这个文件名称是banzhagn.txt 执行以后可以看到就修改成了yanjing. ...
大数据之-Hadoop之HDFS的API操作_文件上传---大数据之hadoop工作笔记0056
然后我们HDFS的java的api操作. 比如我们有个需求从mysql中把数据上传到完全分布式的集群中的,hdfs中比如这里首先我们演示,把e盘下的banzhang.txt文件上传到完全分布式集群h ...
大数据之-Hadoop之HDFS的API操作_机架感知_副本存储的节点的选择---大数据之hadoop工作笔记0068
然后我们再来看一下,这个,hadoop的hdfs的机架感知,如何为某个上传的文件,这里如果是默认是,3个副本的话, 比如有1000台datanode,那么hadoop如何为这个3个副本选择合适的节点, ...
大数据之-Hadoop之HDFS的API操作_文件IO流_上传_案例---大数据之hadoop工作笔记0063
然后我们来看一下HDFS的I/O流操作,这里我们实现文件上传. 这个是文档代码我们自己写一写,分5步
大数据之-Hadoop之HDFS的API操作_写数据流程_上传数据原理剖析_案例---大数据之hadoop工作笔记0066
hdfs的数据流,的写入过程,也就是,文件从本地上传到hdfs的过程,我们来看原理. 1.首先第一步我们的客户端去向,我们的完全分布式集群,像namenode节点,发起一个文件上传请求,并且把要上传的 ...
大数据之-Hadoop之HDFS的API操作_网络拓扑_节点离客户端的距离计算---大数据之hadoop工作笔记0067
然后我们再来看一下,我们说,namenode,在响应客户端发来的,文件上传的请求以后,会响应给客户端告诉客户端,应该把数据,存到哪几个节点上去.比如这里返回给了客户端datanode1,datano ...
大数据之-Hadoop之HDFS的API操作_文件IO流_下载_案例---大数据之hadoop工作笔记0064
我们再去实现,文件的下载,下载其实就是,文件输入流,是hdfs上面的文件,输出流是本地的文件,跟上传很像. 写完以后我们执行先看看,本地没有banhua.txt对吧
大数据之-Hadoop之HDFS的API操作_文件夹_以及文件删除案例---大数据之hadoop工作笔记0059
然后我们再来看hdfs操作,删除文件夹就上面这样写就可以了,但是可以看到有第二个参数上面也有介绍了,源码中写, 如果这个参数设置为true的话,并且要删除的是个文件夹的话,那么这个时候就不会抛出 ...

大数据之-Hadoop之HDFS的API操作_定位读取文件_只读取某个block的内容_案例---大数据之hadoop工作笔记0065

大数据之-Hadoop之HDFS的API操作_定位读取文件_只读取某个block的内容_案例---大数据之hadoop工作笔记0065相关推荐

最新文章

热门文章