spark SQL Running the Thrift JDBC/ODBC server
Running the Thrift JDBC/ODBC server
1:运行
./sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=feng02 --master spark://feng02:7077 --driver-class-path /home/jifeng/hadoop/spark-1.2.0-bin-2.4.1/lib/mysql-connector-java-5.1.32-bin.jar --executor-memory 1g
端口:10000
服务器:feng02
spark master:spark://feng02:7077
driver-class-path:mysql驱动包(hive配置的)
[jifeng@feng02 spark-1.2.0-bin-2.4.1]$ ./sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=feng02 --master spark://feng02:7077 --driver-class-path /home/jifeng/hadoop/spark-1.2.0-bin-2.4.1/lib/mysql-connector-java-5.1.32-bin.jar
starting org.apache.spark.sql.hive.thriftserver.HiveThriftServer2, logging to /home/jifeng/hadoop/spark-1.2.0-bin-2.4.1/sbin/../logs/spark-jifeng-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-feng02.out
2:运行beeline
Now you can use beeline to test the Thrift JDBC/ODBC server:
./bin/beeline
[jifeng@feng02 spark-1.2.0-bin-2.4.1]$ ./bin/beeline
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Beeline version ??? by Apache Hive
3:连接server
参考:https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients#HiveServer2Clients-BeelineExample
beeline> !connect jdbc:hive2://feng02:10000 jifeng jifeng org.apache.hive.jdbc.HiveDriver
Connecting to jdbc:hive2://feng02:10000
log4j:WARN No appenders could be found for logger (org.apache.thrift.transport.TSaslTransport).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Connected to: Spark SQL (version 1.2.0)
Driver: null (version null)
Transaction isolation: TRANSACTION_REPEATABLE_READ
4:查询
0: jdbc:hive2://feng02:10000> show tables;
+----------------+
| result |
+----------------+
| course |
| hbase_table_1 |
| pokes |
| student |
+----------------+
4 rows selected (2.723 seconds)
0: jdbc:hive2://feng02:10000> select * from student;
+-----+----------+------+
| id | name | age |
+-----+----------+------+
| 1 | nick | 24 |
| 2 | doping | 25 |
| 3 | caizhi | 26 |
| 4 | liaozhi | 27 |
| 5 | wind | 30 |
+-----+----------+------+
5 rows selected (10.554 seconds)
0: jdbc:hive2://feng02:10000> select a.*,b.* from student a join course b where a.id=b.id ;
+-----+----------+------+-----+-----+-----+-----+-----+
| id | name | age | id | c1 | c2 | c3 | c4 |
+-----+----------+------+-----+-----+-----+-----+-----+
| 1 | nick | 24 | 1 | 英语 | 中文 | 法文 | 日文 |
| 2 | doping | 25 | 2 | 中文 | 法文 | | |
| 3 | caizhi | 26 | 3 | 中文 | 法文 | 日文 | |
| 4 | liaozhi | 27 | 4 | 中文 | 法文 | 拉丁 | |
| 5 | wind | 30 | 5 | 中文 | 法文 | 德文 | |
+-----+----------+------+-----+-----+-----+-----+-----+
5 rows selected (2.33 seconds)
4:Java JDBC连接
package demo.test;import java.sql.*;public class Pretest {public static void main( String args[] )throws SQLException , ClassNotFoundException {String jdbcdriver="org.apache.hive.jdbc.HiveDriver";String jdbcurl="jdbc:hive2://feng02:10000";String username="scott";String password="tiger"; Class.forName(jdbcdriver);Connection c = DriverManager.getConnection(jdbcurl,username,password); Statement st = c.createStatement(); print( "num should be 1 " , st.executeQuery("select * from student"));// TODO indexing}static void print( String name , ResultSet res )throws SQLException {System.out.println( name);ResultSetMetaData meta=res.getMetaData(); //System.out.println( "\t"+res.getRow()+"条记录");String str="";for(int i=1;i<=meta.getColumnCount();i++){str+=meta.getColumnName(i)+" ";//System.out.println( meta.getColumnName(i)+" ");}System.out.println("\t"+str);str="";while ( res.next() ){for(int i=1;i<=meta.getColumnCount();i++){ str+= res.getString(i)+" "; } System.out.println("\t"+str);str="";}}
}
上面是运行参数
结果显示:
num should be 1 id name age 1 nick 24 2 doping 25 3 caizhi 26 4 liaozhi 27 5 wind 30
spark SQL Running the Thrift JDBC/ODBC server相关推荐
- Spark SQL玩起来
标签(空格分隔): Spark [toc] 前言 Spark SQL的介绍只包含官方文档的Getting Started.DataSource.Performance Tuning和Distribut ...
- hive编程指南电子版_第三篇|Spark SQL编程指南
在<第二篇|Spark Core编程指南>一文中,对Spark的核心模块进行了讲解.本文将讨论Spark的另外一个重要模块--Spark SQL,Spark SQL是在Shark的基础之上 ...
- spark-sql建表语句限制_第三篇|Spark SQL编程指南
在<第二篇|Spark Core编程指南>一文中,对Spark的核心模块进行了讲解.本文将讨论Spark的另外一个重要模块--Spark SQL,Spark SQL是在Shark的基础之上 ...
- hive编程指南_第三篇|Spark SQL编程指南
在<第二篇|Spark Core编程指南>一文中,对Spark的核心模块进行了讲解.本文将讨论Spark的另外一个重要模块--Spark SQL,Spark SQL是在Shark的基础之上 ...
- Spark SQL/DSL
文章目录 前言 一.SparkSession 1.SparkSession介绍 2.SparkSession构建 3.sql与dsl实现词频统计 4.spark开发形式发展 二.DataFrame 1 ...
- Hive on Spark和Spark sql on Hive,你能分的清楚么
摘要:结构上Hive On Spark和SparkSQL都是一个翻译层,把一个SQL翻译成分布式可执行的Spark程序. 本文分享自华为云社区<Hive on Spark和Spark sql o ...
- 学习笔记Spark(六)—— Spark SQL应用(1)—— Spark SQL简介、环境配置
一.Spark SQL简介 1.1.Spark SQL特性 Spark SQL是Spark Core之上的一个组件,它引入了一个称为SchemaRDD的新- 数据抽象,它为结构化和半结构化数据提供支持 ...
- Spark SQL 核心编程
文章目录 Spark SQL 核心编程 1.新的起点 2.SQL 语法 1) 读取 json 文件创建 DataFrame 2) 对 DataFrame 创建一个临时表 3) 通过SQL语句实现查询全 ...
- 大数据之Spark(四):Spark SQL
一.SparkSQL的发展 1.1 概述 SparkSQL是Spark⽣态体系中的构建在SparkCore基础之上的⼀个基于SQL的计算模块. SparkSQL的前身不叫SparkSQL,⽽叫Shar ...
最新文章
- ​Openresty最佳案例 | 第8篇:RBAC介绍、sql和redis模块工具类
- 面试被问分布式事务(2PC、3PC、TCC),这样解释没毛病!
- sql 把多列内容合并
- argparse.ArgumentParser()的用法
- 吵架后女生和男生的夜晚!所有男生都这样吗?
- 模板变量,过滤器和静态文件引用
- react-router4 + webpack Code Splitting
- port 执行命令的封装和参数详解
- 工作组下安装ISA Server 2004
- 基于STM32构建EtherCAT主站(SOEM方案)5
- Clevo P950系列拆机
- 对日软件工程师的几种招聘要求
- 高德地图Key的获取过程(详细)
- python包离线安装教程_Linux下离线安装Python项目的依赖包
- 强化学习1 高斯赛德尔迭代
- (免费分享)基于jsp,javaweb银行柜员业务绩效考核系统(带论文)
- append() 与appendTo 比较
- 服务器被抓“肉鸡”后怎么办?怎么避免被抓“肉鸡“
- 玛雅2016 Mac主要功能及使用详解
- linux内存管理笔记(八)---内核临时页表的创建
热门文章
- k8s如何设置虚拟内存_绝地求生内存优化设置教程(建议收藏)
- 11相机不流畅_小米11最新售价确定,标准版价格亲民,网友:幸福来得真突然...
- Zencart的首页php 301,Zencart 做了301重定向后不能登陆网站后台的解决方案
- java如何解决高并发症,一整套Java线上故障排查技巧,爱了!
- mysql online ddl和pt_online ddl与pt-osc详解
- python复制多个文件_python 之 复制多个模板文件
- java远程下载文件到本地_java远程下载文件到本地
- 今日arXiv精选 | 29篇顶会论文:ACM MM/ ICCV/ CIKM/ AAAI/ IJCAI
- 最新综述:对话式检索数据集汇总
- 如何使用PyTorch的量化功能?