spark dataframe 一列分隔多列，一列分隔多行（scala）

关于spark dataframe ，这里介绍三种实用中实现可能比较麻烦的操作，首先上原始数据集 mRecord：

一，合并content列，将name相同的content合并到一行，用逗号隔开：

        mRecord.createOrReplaceTempView("test");val Df1 = sparkSQL.sql("select name,concat_ws(',',collect_set(content)) as contents from test group by name");Df1.show(false);

结果如下：

二、将contents列的内容根据逗号分隔成三列：

        val Df2 = Df1.withColumn("splitcol",split(col("contents"), ",")).select(col("splitcol").getItem(0).as("col1"),col("splitcol").getItem(1).as("col2"),col("splitcol").getItem(2).as("col3")).drop("splitcol");Df2.show(false);

结果如下：

三、将一中的contents还原最初状态，及将一列的内容根据逗号分隔成多行：

        val Df3 = Df1.withColumn("arrayCol",split(col("contents"),",")).withColumn("expCol",explode(col("arrayCol")));Df3.show(false);

结果如下：

注意expCol列的内容

spark dataframe 一列分隔多列，一列分隔多行（scala）相关推荐

java创建hbase多个列族_Spark：DataFrame写HFile （Hbase）一个列族、一个列扩展一个列族、多个列...
在上一篇博文中遗留了一个问题,就是只能处理DataFrame 的一行一列,虽然给出一个折中的办法处理多个列,但是对于字段多的DataFrame却略显臃肿,经过我的研究,实现了从一个列族.一个列到一个列 ...
python分两列输出_Pandas实现一列数据分隔为两列
分割成一个包含两个元素列表的列对于一个已知分隔符的简单分割(例如,用破折号分割或用空格分割).str.split() 方法就足够了 . 它在字符串的列(系列)上运行,并返回列表(系列). >& ...
R语言把dataframe数据转化为tibble格式、查看每个数据列的缺失值个数、使用数据列的均值对数据列的缺失值进行填充
R语言把dataframe数据转化为tibble格式.查看每个数据列的缺失值个数.使用数据列的均值对数据列的缺失值进行填充目录
pandas使用dropna函数删除dataframe中全是缺失值的数据列（drop columns with all missing values in dataframe）
pandas使用dropna函数删除dataframe中全是缺失值的数据列(drop columns with all missing values in dataframe) 目录
pandas使用query函数删除dataframe中某一列数值小于某一特定值的行（remove dataframe rows baed on column value）
pandas使用query函数删除dataframe中某一列数值小于某一特定值的行(remove dataframe rows baed on column value) 目录
pandas使用方括号[]或者loc函数、基于列名称或者列名称列表索引dataframe中的单个数据列或者多个数据列（accessing columns of a dataframe)
pandas使用方括号[]或者loc函数.基于列名称或者列名称列表索引dataframe中的单个数据列或者多个数据列(accessing columns of a dataframe using co ...
pandas使用duplicated函数删除dataframe中重复列名称的数据列、默认保留重复数据列中的第一个数据列(removing duplicate columns in dataframe)
pandas使用duplicated函数删除dataframe中重复列名称的数据列.默认保留重复数据列中的第一个数据列(removing duplicate columns in dataframe) ...
pandas在dataframe指定位置添加新的数据列、使用insert函数
pandas在dataframe指定位置添加新的数据列.使用insert函数目录 pandas在dataframe指定位置添加新的数据列.使用insert函数 #仿真数据
pandas使用iloc函数基于dataframe数据列的索引抽取单列或者多列数据、其中多列索引需要嵌入在列表方括号[]中、或使用：符号形成起始和终止范围索引
pandas使用iloc函数基于dataframe数据列的索引抽取单列或者多列数据.其中多列索引需要嵌入在列表方括号[]中.或使用:符号形成起始和终止范围索引目录

spark dataframe 一列分隔多列，一列分隔多行（scala）

spark dataframe 一列分隔多列，一列分隔多行（scala）相关推荐

最新文章

热门文章