SparkSQL练习+理解+详解

def main(args: Array[String]): Unit = {//创建配置对象val conf = new SparkConf().setAppName("SparkSQL01_demo").setMaster("local[*]")val session = SparkSession.builder().config(conf).getOrCreate()//创建RDD  (session里包含sparkContext，因为DF底层包含RDD)val rdd1 = session.sparkContext.makeRDD(List(("chun",21),("chun1",23),("chun3",22)))//这里RDD转换DF/DS需要引入隐式转换（注意：Scala的import可以写在函数内部，session是sparksession对象）import session.implicits._//RDD转换 成DFval df = rdd1.toDF("name","age")//创建全局临时视图df.createGlobalTempView("people")//sql语句session.sql("select * from global_temp.people").show//创建一个新的session看能不能使用当前视图session.newSession().sql("select name from global_temp.people").show()df.printSchema()df.select("age").show() //用方法的方式来代替sqldf.select($"age"+1).show()//想查询年龄后加1，用$来引用当前数据，要不然是字符串拼接查询的是age1这个字段，会报错df.filter($"age">22).show()//DF转化成DS  先创建样例类val ds:Dataset[User] = df.as[User]ds.select("*").show()ds.printSchema()//RDD直接转换成DS（用样例类）//val ds = rdd1.toDS()//session.stop()}//样例类在DF结构基础上加上属性case class User(name:String,age:Int)

SparkSQL练习+理解+详解相关推荐

java shareable_spring中@Resource和@Autowired理解详解_编程语言_IT虾米网
@Resource在bean注入的时候使用,@Resource所属包其实不是spring,而是javax.annotation.Resource,只不过spring支持该注解 @Resource里有n ...
java ajax简单实例_JAVA编写的AJAX例子，很简单，但是很容易理解详解
非原创,但是从哪来的我也忘了,呵呵! window.onload = function() { CreateDateSelect(); } var xmlHttp = false; var e; // ...
Java中的多态如何理解——详解
概念
java基础—java内存模型(JMM)CPU架构、缓存一致性、重排序、JMM的实现、JMM保证可见性、有序性问题的详解
java基础-JMM(CPU架构.JMM保证可见性.有序性) 文章目录 java基础-JMM(CPU架构.JMM保证可见性.有序性) CPU架构说一说现在计算机存储器的结构层次使用CPU缓存,会导 ...
【机器学习基本理论】详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解
[机器学习基本理论]详解最大似然估计(MLE).最大后验概率估计(MAP),以及贝叶斯公式的理解 https://mp.weixin.qq.com/s/6H0gmMWvTExySMraroLVlQ 最 ...
【机器学习基本理论】详解最大后验概率估计（MAP）的理解
[机器学习基本理论]详解最大后验概率估计(MAP)的理解 https://mp.weixin.qq.com/s/dQxN46wEbFrpvV369uOHdA 最大似然估计(Maximum likeli ...
Mysql加锁过程详解（3）-关于mysql 幻读理解
Mysql加锁过程详解(1)-基本知识 Mysql加锁过程详解(2)-关于mysql 幻读理解 Mysql加锁过程详解(3)-关于mysql 幻读理解 Mysql加锁过程详解(4)-select fo ...
【转】Android菜单详解——理解android中的Menu--不错
原文网址:http://www.cnblogs.com/qingblog/archive/2012/06/08/2541709.html 前言今天看了pro android 3中menu这一章,对A ...
大型企业网络配置系列课程详解（五） --Frame-Relay配置与相关概念的理解
大型企业网络配置系列课程详解(五) --Frame-Relay配置与相关概念的理解实验原理: Frame-Relay(帧中继)简称FR,是国际电信联盟通信标准化组(ITU ...

SparkSQL练习+理解+详解

SparkSQL练习+理解+详解相关推荐

最新文章

热门文章