Spark操作Kudu dataFrame操作kudu

一、DataFrameApi读取kudu表中的数据

虽然我们可以通过上面显示的KuduContext执行大量操作，但我们还可以直接从默认数据源本身调用读/写API。要设置读取，我们需要为Kudu表指定选项，命名我们要读取的表以及为表提供服务的Kudu集群的Kudu主服务器列表。

代码示例

/*** 使用DataFrameApi读取kudu表中的数据* @param sparkSession* @param kuduMaster* @param tableName*/
def getTableData(sparkSession: SparkSession, kuduMaster: String, tableName: String): Unit = {//定义map集合，封装kudu的master地址和要读取的表名val options = Map("kudu.master" -> kuduMaster,"kudu.table" -> tableName)sparkSession.read.options(options).kudu.show()
}

二、 DataFrameApi写数据到kudu表中

客快物流大数据项目(四十六)：Spark操作Kudu dataFrame操作kudu相关推荐

客快物流大数据项目(四十四)：Spark操作Kudu创建表
Spark操作Kudu创建表 Spark与KUDU集成支持: DDL操作(创建/删除) 本地Kudu RDD Native Kudu数据源,用于DataFrame集成从kudu读取数据从Kudu执 ...
客快物流大数据项目(四十九)：开发环境初始化
目录开发环境初始化一.配置开发环境的HADOOP_HOME 二.将hadoop.
客快物流大数据项目(四十八)：Spark操作Kudu 修改表
Spark操作Kudu 修改表代码示例 /*** 添加列* @param kuduContext*/ def addColumn(kuduContext: KuduContext): Unit ={ ...
客快物流大数据项目(五十六)：编写SparkSession对象工具类
编写SparkSession对象工具类后续业务开发过程中,每个子业务(kudu.es.clickhouse等等)都会创建SparkSession对象,以及初始化开发环境,因此将环境初始化操作封装成工 ...
客快物流大数据项目(四十七)：Spark操作Kudu Native RDD
目录 Spark操作Kudu Native RDD Spark操作Kudu Native RDD Spark与Kudu的集成同时提供了kudu RDD 代码示例 val columnsList = L ...
客快物流大数据项目(四)：大数据项目为什么使用Docker
目录大数据项目为什么使用Docker 一.场景一二.场景二
客快物流大数据项目(二十八)：大数据服务器环境准备
目录大数据服务器环境准备一.服务器规划二.Linux虚拟机环境搭建
客快物流大数据项目(五十四)：初始化Spark流式计算程序
目录初始化Spark流式计算程序一.SparkSql参数调优设置 1.设置会话时区
客快物流大数据项目(二十四)：OGG安装部署
目录 OGG安装部署一.配置Oracle11gR2数据库 1.Oracle11gR2打开归档模式 2.Oracle开启辅助日志和补充日志

客快物流大数据项目(四十六)：Spark操作Kudu dataFrame操作kudu

Spark操作Kudu dataFrame操作kudu

一、DataFrameApi读取kudu表中的数据

二、 DataFrameApi写数据到kudu表中

客快物流大数据项目(四十六)：Spark操作Kudu dataFrame操作kudu相关推荐

最新文章

热门文章