Spark：使用partitionColumn选项读取数据库原理

代码：

val tbname = "TABLENAME"
val df = spark.read.format("jdbc").option("driver", "oracle.jdbc.driver.OracleDriver").option("url", "jdbc:oracle:thin:@10.18.2.3:1521:dbname").option("user", "***").option("password", "***").option("dbtable", s"(select t.*, ROWNUM rownum__rn from ${tbname} t) b").option("fetchsize", 100000).option("partitionColumn", "rownum__rn").option("lowerBound", 1).option("upperBound", 4000000).option("numPartitions", 2).load().drop("rownum__rn")

伪代码，仅帮助理解：

# 情况一：
if partitionColumn || lowerBound || upperBound || numPartitions 有任意选项未指定，报错
# 情况二：
if numPartitions == 1 忽略这些选项，直接读取，返回一个分区
# 情况三：
if numPartitions > 1 && lowerBound > upperBound 报错
# 情况四：
numPartitions = min(upperBound - lowerBound, numPartitions)
if numPartitions == 1 同情况二
else 返回numPartitions个分区
delta = (upperBound - lowerBound) / numPartitions
分区1数据条件：partitionColumn <= lowerBound + delta || partitionColumn is null
分区2数据条件：partitionColumn > lowerBound + delta && partitionColumn <= lowerBound + 2 * delta
...
最后分区数据条件：partitionColumn > lowerBound + n*delta

转载于:https://www.cnblogs.com/xuejianbest/p/10284989.html

Spark：使用partitionColumn选项读取数据库原理相关推荐

Spark采用分区方式读取数据库时partitionColumn, lowerBound, upperBound, numPartitions的理解与验证
关键概念 partitionColumn:分区字段,需要是数值类的(partitionColumn must be a numeric column from the table in questio ...
数据库原理与应用（SQL Server）笔记第十一章游标
目录前言一.游标的定义二.游标的声明三.游标的打开四.游标的使用五.游标的关闭六.游标的删除七.静态游标和动态游标结语前言本章内容将从六个方面介绍关于游标的知识,分别是其定义.声 ...
《数据库原理实验指导书》
<数据库原理实验指导书> 河南科技大学软件学院目录实验规则基本实验方法实验环境实验一数据定义实验二数据更新实验三数据查询-简单查询和连接查询实验四数据查询-分组查询 ...
【SQL语言】数据库原理与设计
目录第五章 SQL语言 5.3 简单查询(对一个表) 5.4 连接查询 5.5 聚集函数 5.6 嵌套查询 5.7 集合运算 5.8 视图的创建和使用 5.9 更新操作第六章高级SQL语言 6. ...
沈师数据库原理 PTA 选择题答案
无答案版链接:https://blog.csdn.net/a2272062968/article/details/117712085 下面对数据模型的不正确叙述是( ). A. 逻辑层次上的数据模型有 ...
数据库原理分析（强烈推荐）
一提到关系型数据库,我禁不住想:有些东西被忽视了.关系型数据库无处不在,而且种类繁多,从小巧实用的 SQLite 到强大的 Teradata .但很少有文章讲解数据库是如何工作的.你可以自己谷歌/百度 ...
mysql数据库原理分析
一提到关系型数据库,我禁不住想:有些东西被忽视了.关系型数据库无处不在,而且种类繁多,从小巧实用的 SQLite 到强大的 Teradata .但很少有文章讲解数据库是如何工作的.你可以自己谷歌/百度 ...
MS SQL Server数据库原理
MS SQL Server数据库原理一. 数据库基本概念数据库系统(DBS):采用数据库技术的计算机系统,由数据库(数据).数据库管理系统(软件).数据库管理员(人员).硬件平台(硬件)和软件平台 ...
数据库原理及应用（详细）
数据库原理及应用 Database Principles and Applications -JAING 第一章绪论: 1.1术语 1.数据(Data) 数据是数据库中存储的基本对象.定义为描述事务 ...

Spark：使用partitionColumn选项读取数据库原理

Spark：使用partitionColumn选项读取数据库原理相关推荐

最新文章

热门文章