首先看thriftserver状态

使用jps查看thriftserver运行状态和端口。如果没启动则需要启动thriftserver

添加依赖

pom.xml文件内容如下：

    <!-- jdbc --><dependency><groupId>org.spark-project.hive</groupId><artifactId>hive-jdbc</artifactId><version>1.2.1.spark2</version></dependency>

编写jdbc代码

package cn.ac.iie.sparkimport java.sql.DriverManager/*** 通过JDBC 方式*/
object SparkSQLThriftServerApp {def main(args: Array[String]): Unit = {Class.forName("org.apache.hive.jdbc.HiveDriver")val conn = DriverManager.getConnection("jdbc:hive2://manager:10000", "iie4bu", "")val pstmt = conn.prepareStatement("select transactionid, customerid from sal")val rs = pstmt.executeQuery()while(rs.next()) {println("transactionid:" + rs.getInt("transactionid") + ", customerid:" + rs.getString("customerid"))}rs.close()pstmt.close()}}

输出结果如下：

Spark SQL之jdbc方式访问相关推荐

Spark Structured : HIve jdbc方式访问待下划线的表，找不到表的错误
1.背景 Spark Structured : HIve jdbc方式访问待下划线的表,找不到表的错误 > select * from default._xd_after limit 1; &g ...
Spark: Structured JDBC 方式访问远程的高可用HA的HIVE
1. 背景 Spark: Structured JDBC 方式访问远程的高可用HA的HIVE,hive是看高可用的,连接信息如下 jdbc:hive2://xx.cdh1.test.dtwave.in ...
Spark入门（五）Spark SQL shell启动方式(元数据存储在derby)
一.spark-sql shell介绍 Spark sql是以hive SQL提交spark任务到spark集群执行. 由于spark是计算框架没有存储功能,所有spark sql数据表映射关系存储在 ...
Spark入门（六）Spark SQL shell启动方式(元数据存储在mysql)
一.hive配置文件在spak/conf目录添加hive-site.xml配置,设置mysql作为元数据存储的数据库 <?xml version="1.0" encodin ...
初识Spark2.0之Spark SQL
内存计算平台Spark在今年6月份的时候正式发布了spark2.0,相比上一版本的spark1.6版本,在内存优化,数据组织,流计算等方面都做出了较大的改变,同时更加注重基于DataFrame数据组织 ...
Spark sql 读文件的源码分析
从spark jobs监控页面上经常看到这种job: Listing leaf files and directories for 100 paths: 如图: 这其实是spark s ...
Spark SQL读取Oracle的number类型的数据时精度丢失问题
Spark SQL读取Oracle的number类型的数据时精度丢失问题在程序开发中,使用到了sparkSQL读取Oracle数据库,发现当sparkSQL读取Oracle的number类型字段时, ...
用JDBC直连方式访问SQL Server 2005详解
用JDBC直连方式访问SQL Server 2005详解 1.安装JDK,配置其环境变量:(笔者所用版本为1.6版) (1)从官方网http://java.sun.com/jdk下载安装文件. (2) ...
Spark SQL 快速入门系列（五）SparkSQL 访问 Hive
文章目录访问 Hive SparkSQL 整合 Hive 访问 Hive 表 idea实现SparkSQL连接hive 访问 Hive 导读 1,整合 SparkSQL 和 Hive, 使用 Hiv ...

Spark SQL之jdbc方式访问

首先看thriftserver状态

添加依赖

编写jdbc代码

Spark SQL之jdbc方式访问相关推荐

最新文章

热门文章