把RDD简单的转换成DataFrames

一：准备

**在pom中配置hive**

<dependency><groupId>org.apache.spark</groupId><artifactId>spark-hive_2.11</artifactId><version>${spark.version}</version></dependency>

二：操作

package g5.learningimport org.apache.spark.sql.SparkSessionobject SparkSessionApp {def main(args: Array[String]): Unit = {val  sparksession= SparkSession.builder().appName("SparkSessionApp").master("local[2]").enableHiveSupport()//使用到hive一定要开启这个.getOrCreate()//    sparksession.sparkContext.parallelize(Array(1,2,3,4)).collect().foreach( println)import sparksession.implicits._  //这个是隐式转换val g5 = sparksession.sparkContext.parallelize(Array(("1","欢迎"),("2","你好"),("3","大白")))//这是一个rdd.toDF("id","name ")g5.show()
//    sparksession.table("ruoze_emp").showsparksession.stop()}}

三：注意

import sparksession.implicits._ //这个是隐式转换
.enableHiveSupport()//使用到hive一定要开启这个

把RDD简单的转换成DataFrames相关推荐

rdd转换成java数据结构_Spark RDD转换成其他数据结构
在Spark推荐系统编程中,一般都是通过文件加载成RDD: //在这里默认 (userId, itemId, preference) val fields = sparkContext.textFil ...
mp3转换成mp4，这个方法很简单
mp3转换成mp4,这个方法很简单! mp3转换成mp4,最开始看见这题目,我以为提问题的人把问题问反了呢,觉得挺不可思议的,因为mp4是视频,而mp3音频,我只知道能mp4转mp3,反过来还是很少见 ...
如何将加密PDF转换成Word文档
PDF最强大的一个加密保护功能就是必须输入密码才能阅读,或者任意的复制打印,这是优点,但是对我们来说更多的时候是麻烦.因为不能复制就不方便.有了密码就不好转换,比较头疼.给大家介绍将PDF解密,然后把 ...
heic格式图片怎么转换成jpg呢?
这几天小伙伴们问了我一个问题.为什么heic的图片在电脑上打不开?我该怎么办?他认为这图片被损坏了.相信很多朋友都有过同样的问题.出现这样的原因是heic图片本身无法在windows系统中打开,只能在 ...
PDF文件在线转换成PPT
有多少人做过PDF文件的转换,还是PDF在线转换成PPT的转换,不用说转换成PPT了,连最基本的转换都没有做过吧.PDF文件支持多种文件之间的转换,如果你连PDF怎么转换成别的文件你都不了解,你的领导 ...
怎么把m4a格式转换成mp3
其实我们都知道不同的行业接触的行业内容也不一样,就像有些做音频剪辑的小伙伴,他就需要下载大量的音频素材,以便自己剪辑使用,但他们在使用这些音频素材的时候,往往会先做一下格式的转换,将一些不好用不常用的 ...
qemu-img 将iso转换成qcow2/raw
参考:moonfly:KVM虚拟机导出最小化体积的qcow2镜像文件 qemu不能直接将iso转化成qcow2或者raw,但是使用iso创建虚机后会产生qcow2/raw作为虚机的硬盘,因此,可以创建 ...
Python：使用 pyts 把一维时间序列转换成二维图片
在之前的一篇博客 -- 将一维时间序列转化成二维图片中,我翻译了一篇文章,说的是将一个时间序列信号转换成二维图片: 然后在文章的最后发了一个 Github 代码,这个代码是原文作者的代码,有人反应代码 ...
pdf格式转换成jpg的简单教程
如何将pdf文件在线免费转换成jpg图片?因为文件保存为图片的形式比较容易查看,因此小伙伴们在编辑完pdf文件之后都会将其保存为jpg图片.那究竟应如何将pdf文件在线转换成图片呢?我们在网上也可以找 ...

把RDD简单的转换成DataFrames

一：准备

二：操作

三：注意

把RDD简单的转换成DataFrames相关推荐

最新文章

热门文章