hadoop文件存储位置_Hadoop文件的存储格式实例详解
sequence文件存储格式
1.txt
纯文本格式,若干行记录。默认用字符编码存储
2.SequenceFile格式(顺序文件格式,可进行切割)
key-value 格式进行存储,最终形成的是一个二进制文件, 需用hadoop提供的api进行写入存储。
编写 写入 seq文件案例。
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Writer writer = SequenceFile.createWriter(fileSystem, configuration, path, IntWritable.class, Text.class);
writer.append(new IntWritable(1),new Text("gg1"));
writer.append(new IntWritable(1),new Text("gg2"));
writer.append(new IntWritable(1),new Text("gg3"));
writer.append(new IntWritable(1),new Text("gg4"));
writer.close();
3.编写读取 seq 文件案例
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Reader sr = new SequenceFile.Reader(fileSystem,path,configuration);
IntWritable key = new IntWritable();
Text value = new Text();
while (sr.next(key,value)){
System.out.println(key +":"+value );
}
4.查看文件内容
$> hdfs dfs -text /user/myfile.seq
$> hdfs dfs -cat /user/myfile.seq (此命令查看会出现乱码)
seq 文件格式解析
顺序文件由文件头和随后的一条或多条记录组成
---文件头------
--key-value----sync
--key-value----
--key-value----
--key-value----
--key-value----sync
--key-value----
--key-value----
--key-value----sync
文件头格式
SEQ+版本号+key类型class+value类型class + 压缩格式类型
代码案例
/**
* 读取文件位置
*/
public void seekSeq() throws IOException {
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Reader sr = new SequenceFile.Reader(fileSystem,path,configuration);
IntWritable key = new IntWritable();
Text value = new Text();
sr.seek(253); // 定位到第253字节的位置,告诉指针下一次要定位的位置。
sr.next(key,value); // 定位到第253字节的位置,并取出相应的值。
System.out.println(key +" : " + value);
sr.close();
}
/**
* 读取seqfile 同步点
*/
public void sync() throws IOException {
/**
* -----文件头-------
128byte* --key-value----sync
153byte* --key-value----
.* --key-value----
.* --key-value----
.* --key-value----sync
* --key-value----
* --key-value----
* --key-value----sync
*/
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://s100:8020");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
SequenceFile.Reader sr = new SequenceFile.Reader(fileSystem,path,configuration);
IntWritable key = new IntWritable();
Text value = new Text();
int syncPos = 12;
sr.sync(syncPos);//如上图在写入文件的时候可一指定多少条记录写入一个同步点
long pos = sr.getPosition();//获取下次要定位的字节位置。
sr.next(key,value);
System.out.println("syncPos : " + syncPos + "pos : " + pos +"key : "+key+"value : " + value);
}
MapFile文件格式
1.是排序的seqfie,具有索引。要求key按照大小顺序添加
2.包含两个文件
index 文件:索引和偏移量的映射,可以设置间隔,默认128(解释:第128key位置--->第256字节 指存入128个key 对应的 第128key的末尾位置是第128字节的位置。)
data 文件:存放真实的数据。格式为key -value 。和seqfile文件类似
总结
以上所述是小编给大家介绍的Hadoop文件的存储格式实例详解,希望对大家有所帮助,如果大家有任何疑问欢迎给我留言,小编会及时回复大家的!
hadoop文件存储位置_Hadoop文件的存储格式实例详解相关推荐
- hadoop文件存储位置_hadoop文件存储目录
[hadoop]常用命令 启动Hadoop 进入HADOOP_HOME目录. 执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录. 执行sh bin/stop ...
- (转) 分布式文件存储FastDFS(七)FastDFS配置文件详解
http://blog.csdn.net/xingjiarong/article/details/50752586 配置FastDFS时,修改配置文件是很重要的一个步骤,理解配置文件中每一项的意义更加 ...
- hadoop之MapReduce自定义二次排序流程实例详解
一.概述 MapReduce框架对处理结果的输出会根据key值进行默认的排序,这个默认排序可以满足一部分需求,但是也是十分有限的.在我们实际的需求当中,往往有要对reduce输出结果进行二次排序的需求 ...
- mysql 过程if语句,mysql存储过程之if语句用法实例详解
这篇文章主要介绍了mysql存储过程之if语句用法,结合实例形式详细分析了mysql存储过程中if语句相关原理.使用技巧与操作注意事项,需要的朋友可以参考下 本文实例讲述了mysql存储过程之if语句 ...
- 360健康助手文件存储位置 获取图片
最近发现360健康助手的背景图都不错,想留下来当背景,故找一找-- 文件存储位置 %AppData%\Roaming\360safe\DesktopRest\eye bk_image目录中是背景图片, ...
- 微信文件传输助手文件存储位置问题
记录微信中文件传输助手文件存储位置问题. 参考手机型号:华为Mate10. 文件位于:Android\data\com.tencent.mm\MicroMsg\Download 上述位置是文档的位置, ...
- 录屏软件Camtasia9的录屏文件存储位置/好用的免费录屏软件代替
1.Camtasia9的录屏默认存放位置 1.修改Camtasia9的文件存放位置 Camtaisa的文件存放位置有好几个,而且修改的地方都比较隐晦.并且无论你安装软件时将软件安装到哪个盘,最后都会在 ...
- win10专业版无法找到便签文件存储位置的解决方法
Win10 系统是大多数职场人士都在用的电脑系统, win10 系统优势很多,但是跟职场人士之前用的 win7 . win8 系统比起来,会略微有差异.比如,有的上班族会发现, win10 专业版无法 ...
- python---ISIC2018预处理---根据类别文件存储位置复制
python-预处理-根据类别文件存储位置复制 最近在学习卷积神经网络,第一步做标签环节.数据集采用的是ISIC-2018数据,由于所以数据存储在一个文件夹里如下图所示. 其分类信息保存在.csv文件 ...
最新文章
- ios cpu指令架构
- 给GridView中的buttonField添加一个删除确认功能
- 基本的输入输出函数介绍
- matlab中怎样画出散点图,将这些散点连接成线
- 防止页面被iframe包含进去
- Frida基础操作命令
- 5918. 统计字符串中的元音子字符串
- 潮流玩具行业趋势与洞察白皮书
- 云图说 | 3分钟创建一个游戏类工作负载
- 烽火戏诸侯于计算机相关联系,烽火戏诸侯的成语典故
- 9-Springboot任务管理
- Jenkins 流水线 获取git 分支列表_基于Jenkins的DevOps流水线实践教程
- PHP下简单交换两个变量
- Mybatis常见面试题
- 域名前缀和后缀html,域名常用前缀和后缀
- con和com开头单词规律_英语单词速记小技巧
- arrayblockingqueue java_Java ArrayBlockingQueue take()用法及代码示例
- 腾讯内部深度文章曝光:微信向左 手机QQ向右
- 国内最全的Android市场,最全Android软件商店
- 10676 涂鸦跳跃(sort)