SparkSql常用命令操作

2024-04-13 08:01:08

1、进入spark-shell模式

spark-shell --master yarn --executor-memory 4g --num-executors 3 --executor-cores 4

2、spark sql查询Hive数据库

import spark.sql

sql("use database_name”)

sql("show tables").show

3、读取hdfs文件数据

val data = spark.read.format("csv").option("sep", ",").option("header","true").load("file_path + file_name")

4、存储文件(默认hdfs路径)

data.write.format("csv").save("/data/....")

5、读取hive表数据

val res = spark.sql("select * from table_1 where day='20181230'")

6、注册成表

res.registerTempTable(“Res")

7、更换属性

val ss = data.selectExpr("_c0 as like","_c1 as session_id","_c2 as uid1”)

8、删除某列属性

val s1 = data.drop("_c0”)

9、一列转换成多列

val df2 =df1.withColumn("_corrupt_record",split(col("_corrupt_record"),","))

.select(col("_corrupt_record").getItem(0).as("uid"),col("_corrupt_record").getItem(1).as("number"))

10、过滤数字(三个横线)

val uid = df2.filter($"number"===1)

11、过滤空值

val s_1 = res.filter("like is not null").filter("session_id is not null”)

SparkSql常用命令操作相关推荐

Docker常用命令操作——1）、镜像操作；2）、容器操作
Docker常用命令&操作 1).镜像操作 https://hub.docker.com/ 操作命令说明检索 docker search 关键字 eg:docker search red ...
Docker系列之常用命令操作手册
Docker系列之常用命令操作手册继上一篇博客Docker系列之原理简单介绍之后,本博客对常用的Docker命令进行实践文章目录 1.安装虚拟机 2.安装Docker 3.Docker镜像操作 4 ...
01《穿越时空的git》科幻小电影-Git创建版本库和常用命令操作-提交、回退、撤销、删除
小时候看过一部印象很深的剧叫做<穿越时空的爱恋>,今日也厚着脸皮导演一部<穿越时空的git>,不上映,纯属自嗨! 1.创建版本库 what is 版本库?无论我们平常使用git ...
linux中剪切文件命令,Linux文件处理常用命令操作技巧
我是Linux初学者,做个笔记,以下是Linux几个常用文件处理命令: 命令提示符 [root@localhost~]# 其中: root 表示当前登 ...
Zookeeper常用命令操作,javaAPI操作之Curator框架 API
浅谈:Zookeeper Zookeeper 概念 • Zookeeper 是 Apache Hadoop 项目下的一个子项目,是一个树形目录服务. • Zookeeper 翻译过来就是动物园管理员 ...
统信UOS命令大全麒麟系统命令大全 Linux常用命令操作大全(非常全非常详细) ubuntu命令大全常用操作命令大全
[腾讯云]云服务器2核4G74元/年,222元/3年 Linux常用命令大全(非常全!!!)适用于统信UOS 麒麟kylin 系统信息 arch 显示机器的处理器架构 uname -m 显示机器的 ...
Linux下Vim的常用命令操作大全
Vim常用命令说明 yy 复制光标所在行 p 粘贴 dd 删除/剪切当前行 u 撤销 :/搜索的内容搜索指定内容 :123 移动到123行 G 回到最后一行 gg 回到第一行数字+G 回到指定行 ...
Git 常用命令操作详解
Git常用命令 Git提供了很多命令来完成相应的操作,为了方便学习,我们将这些命令进行了分类.在学习命令的过程中会讲解一些Git相关的概念. 在本章节我们会学习到如下一些命令和概念: 环境配置获取G ...
git常用命令操作详解(gitblit自建服务器使用)
第一部分,推送本地 git config --global user.email "you@example.com" //设置本机的邮箱地址 git config --glob ...

最新文章

热门文章