Spark 读取mysql表统计

添加maven依赖

      <dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.6</version></dependency>

读取数据库

package com.sparkimport org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._object StatsProductVersion {def main(args: Array[String]): Unit = {val spark = SparkSession.builder().master("local[4]").getOrCreate();import spark.implicits._val otaDeviceVersion = spark.read.format("jdbc").option("url", "jdbc:mysql://xxx.xx.xx.xxx:33061/iot").option("dbtable", "ota_device_version").option("user", "xxxx").option("password", "xxxx").load();otaDeviceVersion.show();val result = otaDeviceVersion.groupBy($"product_id", $"version").agg(countDistinct($"device_id") as "num");result.show()}}

Spark 读取mysql表统计相关推荐

[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子
[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子 $ cat customers.txt 1 Ali us 2 Bsb ca 3 Carls mx $ hive ...
php 去掉无关数据,php 读取 mysql 表中的double数据，去掉多余的0
php 读取 mysql 表中的double数据,去掉多余的0 mysql 中有 ttt 表结构和数据如下 CREATE TABLE `ttt` ( `id` int(11) NOT NULL AUT ...
spark读取hive表异常，处理WARN HiveExternalCatalog: The table schema given by Hive metastore
文章目录 1 问题概述 1.1 数据库表状况 1.2 问题背景 2 报错场景 2.1 修改Hive元数据信息 2.2 报错信息 2.3 其他现象 2.4 查看表结构时的发现 2.5 报错分析 2.6 ...
pyspark —— spark dataframe 从hdfs读写文件：按照指定文件格式读写文件（读写csv、json、text文件，读取hive表，读取MySQL表）、按照指定分隔符读写文件
spark有3种数据结构--RDD.DataFrame.DataSet.这里展示的文件读写方式,都是针对dataFrame数据结构的,也就是文件读进来之后,是一个spark dataFrame. 0. ...
Spark读取MySQL中的数据为DataFrame
Spark读取JDBC中的数据(以MySQL为例)为DataFrame,有两种方式. //聚合的时候默认分区是200,可以在此设置 val spark = SparkSession.builder() ...
python读取mysql中表内数据_Python读取MySQL表数据的方法介绍
这篇文章主要为大家详细介绍了Python如何读取MySQL数据库表数据,具有一定的参考价值,感兴趣的小伙伴们可以参考一下本文实例为大家分享了Python读取MySQL数据库表数据的具体代码,供大家参 ...
sparksql读取mysql表的两种方式
spark.read.jdbc()的方式:package com.cn.sparkSqlimport java.util.Propertiesimport org.apache.spark.sql.S ...
databricks spark 读取postgresql表
1.来上货 driver = "org.postgresql.Driver" url = "jdbc:postgresql://dbservice-url:port/库名 ...
hibernate 读取mysql表结构_为什么要用hibernate 与基于数据库表结构的项目开发
最近开始学习hibernate,其实并不知道要学习什么,有什么用．后来问了一下同事,他就说快捷方便简单,很多事情不用自己做他会帮你做好,但是我觉得不应该是这样的, 于是我就去搜了一下,就搜到了一篇帖子 ...

Spark 读取mysql表统计

Spark 读取mysql表统计相关推荐

最新文章

热门文章