SparkShell创建表

SQL 语法风格是指我们查询数据的时候使用 SQL 语句来查询.
这种风格的查询必须要有临时视图或者全局视图来辅助


scala> val df = spark.read.json("/opt/module/spark-local/examples/src/main/resources/people.json")
df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]scala> df2.createOrReplaceTempView("people")scala> spark.sql("select * from people").show
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+

注意:
1.临时视图只能在当前 Session 有效, 在新的 Session 中无效.
2.可以创建全局视图. 访问全局视图需要全路径:如global_temp.xxx

scala> val df = spark.read.json("/opt/module/spark-local/examples/src/main/resources/people.json")
df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]scala> df.createGlobalTempView("people")scala> spark.sql("select * from global_temp.people")
res31: org.apache.spark.sql.DataFrame = [age: bigint, name: string]scala> res31.show
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+scala> spark.newSession.sql("select * from global_temp.people")
res33: org.apache.spark.sql.DataFrame = [age: bigint, name: string]scala> res33.show
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+

SparkShell创建表相关推荐

shell 创建表连接db2_大数据技术之SparkSQL（七）连接Hive数据库
Apache Hive是Hadoop上的SQL引擎,Spark SQL编译时可以包含Hive支持,也可以不包含.包含Hive支持的Spark SQL可以支持Hive表访问.UDF(用户自定义函数)以及 ...
MySQL 学习笔记（13）— 创建表、修改表、删除表、清空表
1. 创建表在 SQL 中,使用 CREATE TABLE 语句创建一个表: CREATE TABLE table_name (column1 data_type column_constraint ...
mysql怎么创建表视频教程_mySQL学习入门教程——2.创建表
二.创建表一.创建数据表的SQL语句模型(弱类型) CREATE TABLE [IF NOT EXISTS] 表名称( 字段名1 列的类型[属性][索引], 字段名2 列的类型[属性][索引], - ...
oracle与mysql创建表时的区别
oracle创建表时,不支持在建表时同时增加字段注释.故采用以下方式: #创建表 CREATE TABLE predict_data as (id integer NOT NULL, uid varc ...
mysql create table()_MySQL Create Table创建表
表的创建命令需要: 表的名称字段名称定义每个字段(类型.长度等) 语法下面是通用的SQL语法用来创建MySQL表: CREATE TABLE table_name (column_name co ...
oracle表空间更改用户,ORACLE创建表空间、创建用户、更改用户默认表空间以及授权、查看权限...
----创建表空间---- CREATE TABLESPACE UCITDB_data LOGGING DATAFILE '/home/app/oracle/app/oracle/oradata/UC ...
oracle创建用户名授权,oracle创建用户及授权创建表
--================================ --Oracle 用户.对象权限.系统权限 --================================建立表空间和用户的 ...
创建mysql数据库,在新数据库中创建表，再尝试删除表
创建之前,先登录数据库存 mysql -u 账号 -p密码登录完成后,展示一下已存在的数据库 show databases; 创建数据库 create database test111; 然后展示一 ...
MySQL数据库中创建表并给某个字段添加数据
创建表并给字段插入数据使用: create table .. select 语句之前博文完成了商品分类表(good_cates)的创建和商品分类信息的添加以及把商品表(goods)中的商品分类名称改 ...

SparkShell创建表

SparkShell创建表相关推荐

最新文章

热门文章