SequenceFile文件的读取

在工作当中由于历史原因：有很多数据在SequenceFile里面
textfile是不能读取的，如果转化是可以的，但是比较麻烦的，
还不如直接读取;之后再进行操作

package g5.learningimport org.apache.hadoop.io.BytesWritable
import org.apache.spark.{SparkConf, SparkContext}object SequenceFileApp {def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setMaster("local[2]").setAppName("SequenceFileApp")val sc = new SparkContext(sparkConf)val file = sc.sequenceFile[BytesWritable,String]("路径")file.map(x => x._2.split("\t")).map(x=>(x(0),x(1))).foreach(println)
//后面就可以进行相应的操作了file.foreach(println)
//    file.map(x=>(x._1.copyBytes(),x._2)).foreach(println)sc.stop()}}

SequenceFile文件的读取相关推荐

vc++从txt文件中读取数据
数值分析课上老师说要将数据写在txt文件上,然后让程序从txt文件中读取数据.让本来C++已经遗忘了很久的我们无从下手,在网上也查看了很多,发现大多都是扯淡,放在VC++编辑器上发现并不能运行,不知道 ...
android中XMl文件的读取
废话不多说了直接上代码: 新建一个Xml文件用于读取: test.xml <Languages cat="1"><lan id="1"> ...
php 操作txt,PHP 从txt文件中读取数据
一.打开/关闭文件 1.对文件操作时首先要打开文件,打开文件用 fopen()函数,语法是: fopen(filename,mode,include_path,context); 2.对文件操作结束后 ...
python中如何在写文件之前删除文件内容_Python：文件的读取、创建、追加、删除、清空...
一.用Python创建一个新文件,内容是从0到9的整数, 每个数字占一行: #python >>>f=open('f.txt','w') # r只读,w可写,a追加 >> ...
php csv文件的读取,写入,输出下载操作详解
2019独角兽企业重金招聘Python工程师标准>>> php对csv文件的读取,写入,输出下载操作. 代码: <?php $file = fopen('text.csv',' ...
idea 文件流读取web-inf下的文件_C#初学者教程系列20：Stream流读写
本文是C#初学者简单教程,这是第20篇.感谢观看,记得关注我,后续还有更多教程文章,谢谢. 本文环境为Visual Studio 2019. 一.介绍在C#文件操作中,通常使用流来读取和写入文件.流 ...
java 文件写入读取_JAVA文件的两种读取方法和三种写入方法
在使用java对文件进行读写操作时,有多种方法可以使用,但不同的方法有不同的性能. 此文对常用的读写方法进行了整理,以备不时之需. 1.文件的读取主要介绍两种常用的读取方法.按行读取和按字符块读取. ...
一个html的文件当中读取另一个html文件
简介:在论坛中常常有网友问到,可以在一个html的文件当中读取另一个html文件的内容吗?答案是确定的,而且方法不只一种,在以前我只会使用iframe来引用,后来发现了另外的几种方法,那今天就总结这几 ...
springboot读取linux文件_SpringBoot读取Resource下文件的几种方式
最近在项目中涉及到Excle的导入功能,通常是我们定义完模板供用户下载,用户按照模板填写完后上传:这里待下载模板位置为resource/excelTemplate/test.xlsx,尝试了四种读取方 ...

SequenceFile文件的读取

SequenceFile文件的读取相关推荐

最新文章

热门文章