spark 读写SequenceFile

DataFrame

没有相关API,df可以转为RDD然后再用,另外也是只有pairRDD才能用

RDD

  def save3(): Unit = {val spark: SparkSession = SparkSession.builder().master("local[1]").appName("test").getOrCreate()//只有pairRDD才能存储为SequenceFile//一般你随便读个json 很多字段是没法保存成SequenceFile的val rdd: RDD[(String, Int)] = spark.sparkContext.parallelize(List(("a", 1), ("b", 2)))rdd.saveAsSequenceFile("data/dir1")}

读取

  def read3(): Unit = {val spark: SparkSession = SparkSession.builder().master("local[1]").appName("test").getOrCreate()//读取时必须指定SequenceFile kv的泛型,不然会报错的val rdd: RDD[(String, Int)] = spark.sparkContext.sequenceFile[String, Int]("data/dir1")println(rdd.collect().mkString(","))//(a,1),(b,2)}

总结

SequenceFile只能用于pairRDD,局限性很大

参考

How to save Spark Data Frames to Sequence File - Big Data / Apache Spark - itversity

spark 读写SequenceFile相关推荐

spark写入oracle 优化,spark读写数据库大表分区性能优化
spark读写数据库大表分区性能优化:经常会遇到spark读写数据库再做分析,像mysql或oracle. 在数据量很大的情况下,如果只有一个worker一个excutor一个task,那你excut ...
Spark读写HBase（主要讲解SHC的使用）
前言 Spark读写HBase本身来说是没啥可以讲的,最早之前都是基于RDD的,网上的资料就太多了,可以参考: 参考链接1 参考链接2 其实都一样,后来有了Hortonworks公司的研发人员研发了一 ...
Zeppelin上通过Spark读写mysql数据库
Zeppelin上通过Spark读写mysql数据库一.从mysql数据库获取数据二.把处理后的数据再插入到mysql数据库一.从mysql数据库获取数据 %spark val df = spa ...
【大数据开发】SparkSQL——RDD、DataFrame、DataSet相互转换、DSL常用方法、SQL风格语法、Spark读写操作、获取Column对象的方式
take,takeAsList是Action操作 limit⽅法获取指定DataFrame的前n⾏记录,得到⼀个新的DataFrame对象.和take与head不同的是,limit⽅法不是Action ...
spark读写Doris实现及Doris文档更新
因为公司要处理流量数据,其中设计到了会话id的处理,从而需要用spark来实现这一功能. 而公司的数仓是基于Doris搭建的,这就涉及到了spark读写Doris,简单来说一下spark读写Doris ...
Spark读写Hbase的二种方式对比
作者:Syn良子出处:http://www.cnblogs.com/cssdongl 转载请注明出处一.传统方式这种方式就是常用的TableInputFormat和TableOutputForm ...
Spark读写XML文件及注意事项
最近有粉丝问浪尖spark 如何读写xml格式的文件,尤其是嵌套型的,spark本身是不支持xml格式文件读取的,但是databricks开源了一个jar,支持xml文件的读写,浪尖这里给大家介绍一下 ...
spark2读取oracle工具类,spark读写Oracle、hive的艰辛之路（一）
前两天工作需求,要通过给的几个Oracle的视图把数据入到hive库中,很遗憾,使用的华为云平台的集区环境中并没有sqoop1,当然也并没有sqoop2,所以,想到的解决方案是使用spark读取Ora ...
pyspark读写SequenceFile
完整代码如下: # -*- coding: utf-8 -*- import sys reload(sys) sys.setdefaultencoding('utf-8') # @Author: ap ...

spark 读写SequenceFile

DataFrame

RDD

总结

参考

spark 读写SequenceFile相关推荐

最新文章

热门文章