spark 连接mysql 命令_spark-submit命令包括mysql连接器
我有一个scala对象文件,它在内部查询mysql表做一个连接并将数据写入s3,在本地测试我的代码它运行得很好 . 但是当我将它提交到集群时,它会抛出以下错误:
线程“main”java.sql.SQLException中的异常:在org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils $$ anonfun的java.sql.DriverManager.getDriver(DriverManager.java:315)上没有合适的驱动程序$ 2.apply(JdbcUtils.scala:54)位于org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils $$ anonfun $ 2.apply(JdbcUtils.scala:54)scala.Option.getOrElse(Option.scala: 121)org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils $ .createConnectionFactory(JdbcUtils.scala:53)at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD $ .resolveTable(JDBCRDD . scala:123)org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation . (JDBCRelation.scala:117)at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala) :53)org.apache中的org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:330)org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:149) . spark.sql.DataFrameReader.load(DataFrameRea der.scala:122)在QuaterlyAudit $ .main(QuaterlyAudit.scala:51)at QuaterlyAudit.main(QuaterlyAudit.scala)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl . java:62)在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:498)at org.apache.spark.deploy.SparkSubmit $ .org $在org.apache.spark.deploy.SparkSubmit $的org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1(SparkSubmit.scala:185)的apache $ spark $ deploy $ SparkSubmit $$ runMain(SparkSubmit.scala:736) . 在org.apache.spark.spark.deploy.SparkSubmit.main(SparkSubmit.scala)的org.apache.spark.deploy.SparkSubmit $ .main(SparkSubmit.scala:124)中提交(SparkSubmit.scala:210)
下面是我的sparksubmit命令:
nohup spark-submit --class QuaterlyAudit --master yarn-client --num-executors 8
--driver-memory 16g --executor-memory 20g --executor-cores 10 /mypath/campaign.jar &
我正在使用sbt,我在sbt程序集中包含mysql连接器,下面是我的build.sbt文件:
name := "mobilewalla"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "2.0.0" % "provided",
"org.apache.spark" %% "spark-sql" % "2.0.0" % "provided",
"org.apache.hadoop" % "hadoop-aws" % "2.6.0" intransitive(),
"mysql" % "mysql-connector-java" % "5.1.37")
assemblyMergeStrategy in assembly := {
case PathList("META-INF", xs@_*) =>
xs.map(_.toLowerCase) match {
case ("manifest.mf" :: Nil) |
("index.list" :: Nil) |
("dependencies" :: Nil) |
("license" :: Nil) |
("notice" :: Nil) => MergeStrategy.discard
case _ => MergeStrategy.first // was 'discard' previousely
}
case "reference.conf" => MergeStrategy.concat
case _ => MergeStrategy.first
}
assemblyJarName in assembly := "campaign.jar"
我也尝试过:
nohup spark-submit --driver-class-path /mypath/mysql-connector-java-5.1.37.jar
--class QuaterlyAudit --master yarn-client --num-executors 8 --driver-memory 16g
--executor-memory 20g --executor-cores 10 /mypath/campaign.jar &
但仍然没有运气,我在这里失踪了什么 .
spark 连接mysql 命令_spark-submit命令包括mysql连接器相关推荐
- spark编程mysql数据源_Spark - 直接操作数据源 MySQL
如果我们的Mysql服务器性能不咋滴,但是硬盘很够,如何才能做各种复杂的聚合操作?答案就是使用spark的计算能力的,我们可以将mysql数据源接入到spark中. 读取 val mysqlDF = ...
- spark mysql 交互_Spark - 直接操作数据源 MySQL
如果我们的Mysql服务器性能不咋滴,但是硬盘很够,如何才能做各种复杂的聚合操作?答案就是使用spark的计算能力的,我们可以将mysql数据源接入到spark中. 读取 val mysqlDF = ...
- mysql命令程序_MySQL命令大全经典版
以下的文章主要介绍的是MySQL命令大全,其中包括MySQL数据库的常用命令,修改MySQL数据库中实际root 密码以及对grant的实际应用的介绍,下面就是文章的具体内容描述,望你会有所收获. M ...
- MySQL安装使用学习教程,mysql数据库入门的不二之选
MySQL是最流行的关系型数据库管理系统,在WEB应用方面MySQL是最好的RDBMS(Relational Database Management System:关系数据库管理系统)应用软件之一. ...
- 中使用mysql连接失败_如何在命令行下使用 MySQL 连接数据库不用每次都输入密码?...
点击上方☝SpringForAll社区 轻松关注! 及时获取有趣有料的技术文章 本文来源:http://rrd.me/g7J9e 我们知道在命令行下可以使用下面的命令连接 MySQL ,其中 xxx ...
- mysql连接的时候里执行命令_在Bash里使用交互式命令连接MySQL数据库,并执行一次查询...
首先,我们是使用一台Linux终端来连接远程服务器上的MySql数据库,所以操作系统上需要安装客户端.# yum install mysql 注意,书写安装的是MySQL, 可实际安装的确是Maria ...
- mysql添加远程登陆权限及mysql远程连接命令
mysql添加远程登陆权限及mysql远程连接命令 1.mysql使用本身环境下面mysql数据库中的user表来管理用户及权限 mysql> use mysql;Database change ...
- MySQL启动、连接,退出,关闭命令学习
MySQL启动.连接,退出,关闭命令学习 1,启动MySQL服务 net start mysql80 2,连接MySQL mysql -h127.0.0.1 -u用户名 -p密码 回车,出现下面一堆东 ...
- mysql 远程安装linux命令,Linux mysql命令安装允许远程连接的安装设置方法
而这些东西,正是新手很困惑的地方.一下是我的安装笔记,在Centos虚拟机上安装成功.中文的参考:http://xieyu.blog.51cto.com/213338/59749英文的参考 How t ...
- 服务器怎么修改sqlroot密码,mysql设置更改root密码、mysql服务器的连接、mysql常用命令的图解...
1.设置更改root密码 查看mysql 启动与否,若没启动就运行:/usr/local/mysql56/bin/mysql ps aux |grep mysql 或 netstat -tulnp | ...
最新文章
- appium+python自动化测试教程_Python+Appium实现自动化测试
- 2021年春季学期-信号与系统-第二次作业参考答案-第九小题
- 【 MATLAB 】filter 函数介绍(一维数字滤波器)
- lua学习:使用Lua处理游戏数据
- Pyhton学习——Day3
- UA MATH565C 随机微分方程V Markov Family的算子
- mysql外键约束查询语句_MySQL数据库 : 查询语句,连接查询及外键约束
- 深夜福利, 小试linuxkit
- 零基础学习java------day11------常用API
- Secondary Namenode的Check point机制以及Namenode、Datanode工作机制说明
- java month_java11教程--类Month用法
- Hibernate4实战 之 第二部分:Hibernate的基本配置
- python自动化测试难不难_我从功能测试进阶到自动化测试工程师的经验总结~|Atstudy...
- MUSIC算法及MATLAB实现
- 图解谷歌浏览器Chrome的Logo_longware_新浪博客
- stm32关于can线的双机通信实验
- 色彩对比广告设计_为什么我们都需要使用色彩对比检查器
- 动态规划经典入门题(初学必刷)
- 鸿蒙太空是什么意思,我所居兮,青埂之峰:我所游兮,鸿蒙太空,谁与我逝兮,吾谁与从?渺渺茫茫兮归彼大荒!什么意思?求解...
- 用变量定义数组的几个方法
热门文章
- ML.NET机器学习、API容器化与Azure DevOps实践(二):案例
- 从.Net框架Bug的提交到修复代码成功合并到.NET CoreFX主线
- MEF 插件式开发 - DotNetCore 初体验
- 好代码是管出来的——使用GitHub实现简单的CI/CD
- RabbitMQ教程C#版 “Hello World”
- 使用 mono 编译 .NET Standard 应用
- 码农不重视文档:开源项目深受其苦
- [干货来袭]MSSQL Server on Linux预览版安装教程(先帮大家踩坑)
- 微软也加入FB开放计算项目 发布交换机操作系统
- nginx服务器,访问时显示目录,不直接显示index.php