spark学习-SparkSQL-SparkSession与SparkContext
SparkSession-Spark的一个全新的切入点
SparkSession是Spark 2.0引如的新概念。SparkSession为用户提供了统一的切入点,来让用户学习spark的各项功能。
在spark的早期版本中,SparkContext是spark的主要切入点,由于RDD是主要的API,我们通过sparkcontext来创建和操作RDD。对于每个其他的API,我们需要使用不同的context。例如,对于Streming,我们需要使用StreamingContext;对于sql,使用sqlContext;对于Hive,使用hiveContext。但是随着DataSet和DataFrame的API逐渐成为标准的API,就需要为他们建立接入点。所以在spark2.0中,引入SparkSession作为DataSet和DataFrame API的切入点,SparkSession封装了SparkConf、SparkContext和SQLContext。为了向后兼容,SQLContext和HiveContext也被保存下来。
SparkSession实质上是SQLContext和HiveContext的组合(未来可能还会加上StreamingContext),所以在SQLContext和HiveContext上可用的API在SparkSession上同样是
spark学习-SparkSQL-SparkSession与SparkContext相关推荐
- spark学习-SparkSQL一些函数的使用
1.parallelizePairs余parallelize /** Distribute a local Scala collection to form an RDD. */def paralle ...
- spark学习 Java版SparkSQL程序读取Hbase表注册成表SQL查询
参考: spark学习-SparkSQL–11-scala版写的SparkSQL程序读取Hbase表注册成表SQL查询 http://blog.csdn.net/qq_21383435/article ...
- spark学习-Spark的Core理解
1.为什么理解它? 有一次我要跑一个任务,spark-submit提交的任务,但是它总是处于ACCEPED等待接受的状态,以前遇到这个问题,这个是内存不够引起的 Spark学习-SparkSQL–05 ...
- Spark学习(6)-Spark SQL
1 快速入门 SparkSQL是Spark的一个模块, 用于处理海量结构化数据. SparkSQL是非常成熟的 海量结构化数据处理框架. 学习SparkSQL主要在2个点: SparkSQL本身十分优 ...
- spark学习笔记!!!!
文章目录 1.spark概述 2.spark运行架构 2.1.核心组件 2.2.核心概念 2.3.Spark提交流程 3.spark核心编程 3.1.RDD 3.1.1.什么是RDD 3.1.2.RD ...
- Spark之SparkSQL实战
DataFrames 基本操作和 DSL SQL风格 UDF函数 以及数据源: SparkSQL查询 Json数据准备 123 {"name":"Michael" ...
- 大数据高级开发工程师——Spark学习笔记(6)
文章目录 Spark内存计算框架 Spark SQL SparkSQL概述 1. SparkSQL的前世今生 2. 什么是 SparkSQL SparkSQL的四大特性 1. 易整合 2. 统一的数据 ...
- spark 学习笔记
spark 学习笔记 spark介绍 Spark是是一种快速通用的集群计算系统,它的主要特点是能够在内存中进行计算.它包含了 spark 核心组件 spark-core,用于 SQL 和结构化处理数据 ...
- Apache Spark学习:利用Eclipse构建Spark集成开发环境
介绍了如何使用Maven编译生成可直接运行在Hadoop 2.2.0上的Spark jar包,而本文则在此基础上, 介绍如何利用Eclipse构建Spark集成开发环境 . 不建议大家使用eclips ...
- Apache Spark学习:利用Scala语言开发Spark应用程序
Spark内核是由Scala语言开发的,因此使用Scala语言开发Spark应用程序是自然而然的事情.如果你对Scala语言还不太熟悉,可以阅读网络教程 A Scala Tutorial for Ja ...
最新文章
- 如何使用Salt 的各种状态值
- C++/Php/Python/Shell 程序按行读取文件或者控制台方法总结。
- mongo shell连接到mongoDB及shell提示符下执行js脚本
- java并发编程一:基础知识
- IIS7报“假”正式版随Server 2008发布
- react 子传参父_React 子组件向父组件传值的方法
- java安卓原生影视APP源码 对接苹果cms后台
- Java中四种遍历Map对象的方法
- Nutanix超融合基础架构和桌面虚拟化解决方案助力新松机器人加速数字化转型
- C# 解析带前缀的Xml节点内容
- vs2003 打开VS.NET项目时遇到 “无法从web服务器获取项目文件” 解决方案
- R语言学习系列(数据挖掘之决策树算法实现--ID3代码篇)
- cobol学习之十数据库的增删改查模板
- android高德地图绘制多边形_利用Python的folium包绘制城市道路图
- VOA ECONOMICS REPORT - Nearly Half of US Jobs Now Held by Women
- “建木”萌芽,聚木成林
- 盲盒小程序的开发功能介绍,优势有哪些
- 感觉本人对事待人处理不当。
- 【微信小程序】日历弹窗选择器
- ecshop手机端模板引擎切换到smarty3.1.30-之改造insert_ads
热门文章
- 工资低是浪费生命?俞敏洪:当你工资比同学少一半 生命已经浪费一半
- 三星CEO承认:可折叠智能手机Galaxy Fold开卖得太着急
- 升降摄像头设计!realme X今日亮相:现已在多平台开启预约
- 抢注“哔哩哔哩”商标卖成人用品?A站回应:不符合价值观 已申请注销
- OPPO Find X继任者来了!Find Z曝光:搭载骁龙855
- Please make sure you have the correct access rights and the repository exists
- npm WARN stylus-loader@3.0.2 requires a peer of stylus@>=0.52.4 but none is installed. You must inst
- 深入理解异步Web服务器 Tornado
- github常见操作和常见错误!
- Framework学习(一)深入Android 系统架构