spark编程mysql数据源_Spark - 直接操作数据源 MySQL

如果我们的Mysql服务器性能不咋滴，但是硬盘很够，如何才能做各种复杂的聚合操作？答案就是使用spark的计算能力的，我们可以将mysql数据源接入到spark中。

读取

val mysqlDF = spark

.read

.format("jdbc")

.option("driver","com.mysql.jdbc.Driver")

.option("url","jdbc:mysql://localhost:3306/ttable")

.option("user","root")

.option("password","root")

.option("dbtable","(select * from ttt where userId >1 AND userId < 10) as log")//条件查询出想要的表

//.option("dbtable","ttable.ttt")//整张表

.option("fetchsize","100")

.option("useSSL","false")

.load()

分区读取

spark

.read

.format("jdbc")

.option("url", url)

.option("dbtable", "ttt")

.option("user", user)

.option("password", password)

.option("numPartitions", 10)

.option("partitionColumn", "userId")

.option("lowerBound", 1)

.option("upperBound", 10000)

.load()

实际会生成如下查询语句,(所有分区会一直查询，直到整张表数据查询完为止)

SELECT * FROM ttt WHERE userId >= 1 and userId < 1000

SELECT * FROM ttt WHERE userId >= 1000 and userId < 2000

SELECT * FROM ttt WHERE userId >= 2000 and userId < 3000

...

写入

mysqlDF.createTempView("log")

spark

.sql("select * from log")

.toDF()

.write

.mode(SaveMode.Overwrite)

.format("jdbc")

.option("driver","com.mysql.jdbc.Driver")

.option("url","jdbc:mysql://localhost:3306/ttable")

.option("dbtable","a")

.option("user","root")

.option("password","root")

.option("fetchsize","100")

.option("useSSL","false")

.save()

spark编程mysql数据源_Spark - 直接操作数据源 MySQL相关推荐

spark mysql 交互_Spark - 直接操作数据源 MySQL
如果我们的Mysql服务器性能不咋滴,但是硬盘很够,如何才能做各种复杂的聚合操作?答案就是使用spark的计算能力的,我们可以将mysql数据源接入到spark中. 读取 val mysqlDF = ...
mysql binary mode_mysql二进制文件操作语法(mysql binary log operate statements)
在 mysql 配置文件中配置 log-bin,重启 mysql my.cnf (on Linux/unix) or my.ini (on Windows) 例子: [client] ... [mys ...
mysql管理工具dg_C#操作SqlServer MySql Oracle通用帮助类Db_Helper_DG（默认支持数据库读写分离、查询结果实体映射ORM）...
1 /*********************************************************2 * CopyRight: QIXIAO CODE BUILDER.3 * V ...
视频教程-MySQL数据库应用快速入门培训课程-MySQL
MySQL数据库应用快速入门培训课程 5年JAVA 开发经验,2年系统架构经验,PMP项目管理资格认证,ACP 项目管理认证,工作过程同时参与性能.自动化测试工作,负责测试部门的测试架构,项目服务器运 ...
Spark SQL 编程API入门系列之SparkSQL数据源
不多说,直接上干货! SparkSQL数据源:从各种数据源创建DataFrame 因为 spark sql,dataframe,datasets 都是共用 spark sql 这个库的,三者共享同样的 ...
「Spark从入门到精通系列」4.Spark SQL和DataFrames：内置数据源简介
来源 | Learning Spark Lightning-Fast Data Analytics,Second Edition 作者 | Damji,et al. 翻译 | 吴邪大数据4年从业经 ...
mysql多数据源切换_Springboot项目实现Mysql多数据源切换的完整实例
一.分析AbstractRoutingDataSource抽象类源码关注import org.springframework.jdbc.datasource.lookup.AbstractRouti ...
2 数据源配置_Quick BI支持哪些数据源（配置操作篇）
Quick BI 潜心打造了核心技术底座(OLAP分析引擎),实现了SQL解析.SQL调度.SQL优化.查询加速等基础能力,支撑Quick BI的数据分析和查询加速.OLAP分析引擎包括数据源连接.数 ...
spring boot 入门_SpringBoot入门建站全系列（三十）Mybatis多数据源进行数据库操作
SpringBoot入门建站全系列(三十)Mybatis多数据源进行数据库操作一.概述多数据源,就是有多个数据库的配置. 多数据源配置并不麻烦,使用起来和单数据源基本相同,但是,重要的是事务的控制 ...

spark编程mysql数据源_Spark - 直接操作数据源 MySQL

spark编程mysql数据源_Spark - 直接操作数据源 MySQL相关推荐

最新文章

热门文章