pyspark 读mysql数据_spark读mysql数据

最近在学习中，需要用spark读取mysql数据，查阅了很多资料大多是java版本的，自己琢磨了半天，研究出python版本的，本人菜鸟，本博客只会记录学习过程，如有不妥请见谅。所用spark版本为1.4.1.

先上自己找到了一些相关资料，仅供参考~~~

有介绍Spark SQL与hive，json等数据的读写。而mysql等一些数据库可通过JDBC来读取。

from pyspark importSparkContextfrom pyspark.sql importSQLContext,Row

sqlContext=SQLContext(sc)

df=sqlContext.read.format('jdbc').options(url="jdbc:mysql://localhost/spider_db?user=spider_user&password=password",dbtable="allpapers").load()

或：

from pyspark importSparkContextfrom pyspark.sql importSQLContext,Row

sqlContext=SQLContext(sc)

df=sqlContext.read.jdbc(url="jdbc:mysql://localhost?user=spider_user&password=password",table="spider_db.allpapers")

url含义：

url=jdbc:mysql://MYSQL_HOST/MYSQL_DBNAME?user=MYSQL_USER&password=MYSQL_PASSWD”,dbtable=”MYSQL_TABLE”

MYSQL_HOST为mysql的地址，本机为localhost，MYSQL_DBNAME为数据库名，MYSQL_USER为用户名，MYSQL_PASSW为登陆密码，MYSQL_TABLE为表名。MYSQL_DBNAME可放入url中，也可放入table中。

所遇到的错误情况有一下两种：

1.java.sql.SQLException: No suitable driver found for ...

解决办法：下载mysql-connector包，将其放到spark下，并指定jar包，即在spark-env.sh中添加

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/hadoop/spark/lib/mysql-connector-java-5.1.36-bin.jar

2.java.sql.SQLException: access denied for user'spider_user '@'**.**.**.**'(using password :Yes)

解决办法：mysql的密码输入错误，正确书写mysql密码。

pyspark 读mysql数据_spark读mysql数据相关推荐

spark mysql 驱动_spark读取mysql数据库的驱动问题
连接关系型数据库转换为DF对象. 上传mysql-connector-java-5.1.28-bin.jar包启动参数方式: bin/spark-shell--master=local[4] --d ...
spark读取hdfs路径下的数据_Spark读取HDFS数据分区参考
本文以读取 parquet 文件 / parquet hive table 为例: hive metastore 和 parquet 转化的方式通过 spark.sql.hive.convertMet ...
thinkphp 随机取10条数据_spark调优-数据倾斜
1.数据倾斜发生时的现象绝大多数task执行得都非常快,但个别task执行极慢.比如,总共有1000个task,997个task都在1分钟之内执行完了,但是剩余两三个task却要一两个小时.这种情况 ...
mysql悲观锁会有脏数据吗_一文带你理解脏读,幻读,不可重复读与mysql的锁,事务隔离机制...
首先说一下数据库事务的四大特性 1 ACID 事务的四大特性是ACID(不是"酸"....) (1) A:原子性(Atomicity) 原子性指的是事务要么完全执行,要么完全不执行 ...
读dataframe存入mysql_DataFrame数据保存到mysql数据库中
本篇文章主要基于python3.6与pandas实现以下数据库操作功能: 创建数据库数据库创建表数据库批量插入数据数据库更新数据数据库配置 class sqlConfig: db_name = ...
spark写mysql优化简书_spark读写mysql、hive、kafka数据demo
读取hive库数据 pom.xml依赖配置 org.apache.spark spark-core_2.11 2.1.1 org.apache.spark spark-hive_2.11 2.1.1 ...
mysql overwrite数据_Spark SQL和MySQL-SaveMode.Overwrite不插入修改后的数据
我在 MySQL中有一个带有id和name的测试表,如下所示: +----+-------+ | id | name | +----+-------+ | 1 | Name1 | +----+---- ...
mysql 不让读的锁_MySQL实战45讲阅读笔记-锁
全局锁全局锁会对整个数据数据库实例加锁,使用的命令是flush tables with read lock,使用这个命令后其他线程的DML(增删改)语句.DDL(修改.定义表结构)语句和事务提交语句 ...
MySQL数据库如何解决大数据量存储问题
FROM http://blog.csdn.net/likika2012/article/details/38816037 各位高手您们好,我最近接手公司里一个比较棘手的问题,关于如何利用MySQL存 ...
关系型数据库和非关系型数据对比以及 MySQL与Oracle对比
一.关系型数据库关系型数据库,是指采用了关系模型来组织数据的数据库. 关系模型1970年提出的,关系模型的概念得到了充分的发展并逐渐成为主流数据库结构的主流模型. 简单来说,关系模型 ...

pyspark 读mysql数据_spark读mysql数据

pyspark 读mysql数据_spark读mysql数据相关推荐

最新文章

热门文章