spark mysql 驱动_spark读取mysql数据库的驱动问题

连接关系型数据库转换为DF对象。

上传mysql-connector-java-5.1.28-bin.jar包

启动参数方式：

bin/spark-shell--master=local[4] --driver-class-path=mysql-connector-java-5.1.28-bin.jar注意：此时jar包放置在的位置可以自定义但是在单机启动的时候需要在jar包所在位置启动spark-shell

1)mysql服务器要能远程连接

2) mysql要授权远程访问权限

mysql–uroot –proot

mysql>grantall privileges on *.* to 'root'@'ip' identified by 'root'

mysql>flushprivileges;

执行代码

valprop = new java.util.Properties

prop.put("user","root")

prop.put("password","root")

valdf=sqlContext.read.jdbc("jdbc:mysql://ip:3306/jtdb","tb_user",prop)

df: org.apache.spark.sql.DataFrame = [id: bigint,username: string, password: string, phone: string, email: string, created:timestamp, updated: timestamp]

用在当关系型数据库需要groupby等，由于数据量太大它做不了或者太慢。就可以交给spark来完成。

还有一种是在集群开启的时候需要防止一个位置然后在spark-env.sh中配置SPARK_CLASSPATH =(填写jar包的绝对路径) 需要注意的是在子节点中也要放置jar包也需要配置SPARK_CLASSPATH 配置成功之后重启spark

配置文件方式：

SPARK_LOCAL_IP=192.168.1.106

SPARK_CLASSPATH=mysql-connector-java-5.1.28-bin.jar

bin/spark-shell --master=local[4]

val jdbcdf =sqlContext.load("jdbc",Map("url"->"jdbc:mysql://192.168.1.101:3306/jtdb?user=root&password=root","dbtable"->"tb_user"))

jdbcdf.show

spark mysql 驱动_spark读取mysql数据库的驱动问题相关推荐

mysql 中文 java_Java 读取 MySQL 中文乱码
Java 读取 MySQL 中文乱码场景:Java,eclipse,读取MySQL数据库,MySQL编码为utf-8 问题:读出来的中文在eclipse的输出窗口中显示为乱码错误的写法 1 Sy ...
mysql数据库任务驱动教程答案_MySQL数据库任务驱动式教程
项目一认识数据库任务1 认识数据库 1.1 了解数据库的基本应用 1.2 了解数据库的几个概念 1.3 认识关系型数据库 1.4 关系数据库设计 1.5 数据库应用系统体系结构 1.6 认识一个真 ...
mysql long raw_读取Oracle数据库中LONG RAW字段会抛出异常
我使用Spring Boot + MyBatis + druid1.0.23读取表中的Long RAW字段时出现异常,然后我又使用Spring里的SingleConnectionDataSource能 ...
javascript mysql读写_Javascript读取ACCESS数据库 | 学步园
这些操作也许用不上,但也帖上来,网上也有很多相关例子,不多说帖出我自己改写的一段,欢迎指正说明: 在存html文件的目录下有一个存放数据库的子目录:webData,其中的数据库名为scData.md ...
spark写mysql优化简书_spark读写mysql、hive、kafka数据demo
读取hive库数据 pom.xml依赖配置 org.apache.spark spark-core_2.11 2.1.1 org.apache.spark spark-hive_2.11 2.1.1 ...
Spark读取MySQL中的数据为DataFrame
Spark读取JDBC中的数据(以MySQL为例)为DataFrame,有两种方式. //聚合的时候默认分区是200,可以在此设置 val spark = SparkSession.builder() ...
mysql 读取oracle_RobotFramework读取mysql和oracle数据库
一.robotframework连接mysql数据库 1.安装databaselibrary.pymysql 通过cmd命令执行:pip install robotframework-database ...
mysql驱动maven_IDEA用Maven连接MySQL的jdbc驱动，并操作数据库
1.在IDEA里创建Maven项目 1.1.点击Create New Project 1.2.选择Maven,JDK这里用的是1.8,点击Next 1.3.填入"组织名".&quo ...
加载mysql驱动的语句_sql数据库驱动加载语句
2011年11月27日学习内容总结 1.使用JDBC连接数据库五个步骤,每个步骤的原因.加载驱动:连接不同的数据库要加载不同的驱动:建立连接:访问一个数据库,要知道IP+端口号+数据库名,此外还有用户 ...

spark mysql 驱动_spark读取mysql数据库的驱动问题

spark mysql 驱动_spark读取mysql数据库的驱动问题相关推荐

最新文章

热门文章