databricks spark 读取postgresql表

1、来上货

driver = "org.postgresql.Driver"
url = "jdbc:postgresql://dbservice-url:port/库名"
user = "csl"
password = "******"# 读取
jdbcDF3 = spark.read.format("jdbc") \.option("driver", driver)\.option("url", url) \.option("user", user) \.option("password", password) \.option("query","select * from arch_aclass") \.option('fetchsize',"1000") \.load()display(jdbcDF3)
```![在这里插入图片描述](https://img-blog.csdnimg.cn/33d2f29cd3c346ed8cc8f4d4a8f579b4.png)

databricks spark 读取postgresql表相关推荐

[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子
[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子 $ cat customers.txt 1 Ali us 2 Bsb ca 3 Carls mx $ hive ...
spark读取hive表异常，处理WARN HiveExternalCatalog: The table schema given by Hive metastore
文章目录 1 问题概述 1.1 数据库表状况 1.2 问题背景 2 报错场景 2.1 修改Hive元数据信息 2.2 报错信息 2.3 其他现象 2.4 查看表结构时的发现 2.5 报错分析 2.6 ...
Spark 读取mysql表统计
添加maven依赖 <dependency><groupId>mysql</groupId><artifactId>mysql-connector-ja ...
【原创】大叔经验分享（65）spark读取不到hive表
spark 2.4.3 spark读取hive表,步骤: 1)hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2)enableHiveSupport Sp ...
spark用scala读取hive表数据（不同版本区别）
spark用scala读取hive表数据 spark1.6写法: val conf = new SparkConf() val sc = new SparkContext(conf) ...
spark学习 Java版SparkSQL程序读取Hbase表注册成表SQL查询
参考: spark学习-SparkSQL–11-scala版写的SparkSQL程序读取Hbase表注册成表SQL查询 http://blog.csdn.net/qq_21383435/article ...
Spark读取MySQL中的数据为DataFrame
Spark读取JDBC中的数据(以MySQL为例)为DataFrame,有两种方式. //聚合的时候默认分区是200,可以在此设置 val spark = SparkSession.builder() ...
scala学习-scala读取Hbase表中数据并且做join连接查询
1.业务需求:sparkSQL on hbase ,sparkSQL直接读取Hbase中的两个表,进行连接查询. 2.图示绿色的线上图中绿色的线是做过测试的,直接在hive中建表,然后load数据 ...
Spark读取压缩文件
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到网站:https://www.captainai.net/dongkelun 前言本文讲如何用spark读 ...

databricks spark 读取postgresql表

databricks spark 读取postgresql表相关推荐

最新文章

热门文章