spark数据查询语句select_sparksql读取hive表中数据

文章目录

spark sql与hive本地调试

new HiveContext空指针异常

权限: 异常

执行select查询的时候找不到host

spark sql与hive本地调试

将hive-site.xml文件拷贝到resource目录中

pom.xml

org.apache.spark

spark-hive_2.11

1.6.0

代码

import org.apache.spark.sql.hive.HiveContext

import org.apache.spark.{SparkConf, SparkContext}

object SparksqlTest {

def main(args: Array[String]): Unit = {

val sparkconf = new SparkConf().setAppName("Hivesql").setMaster("local[*]")

val sc = new SparkContext(sparkconf);

val hiveContext = new HiveContext(sc)

hiveContext.sql("select * from person1").show()

sc.stop()

}

new HiveContext空指针异常

报错空指针异常,错误点在 new HiveContext()处

java.lang.NoClassDefFoundError - org/apache/spark/sql/hive/HiveContext

解决方法:将hadoop的源码包下载,解压到本地,在环境变量中配置HADOOP_HOME,

并将winutils.exe等一系列文件拷贝到源码中的bin目录中

权限: 异常

/tmp/hive on HDFS should be writable. Current permissions are: rwx–x--x

linux下笔者使用了hadoop命令

hadoop fs -chmod -R 777 /tmp

Windows下进入hadoop源码目录的bin目录下,搜索栏中敲cmd,然后执行

D:\software\hadoop-2.6.5\bin>winutils.exe chmod -R 777 D:/tmp

执行select查询的时候找不到host

java.net.UnknownHostException

将hdfs-site.xml文件拷贝进resource目录下,运行程序还是报错,笔者很生气,关闭idea,重启了下,好了

spark数据查询语句select_sparksql读取hive表中数据相关推荐

spark数据查询语句select_sparksql语句
(1)in 不支持子查询 eg. select * from src where key in(select key from test); 支持查询个数 eg. select * from src ...
spark数据查询语句select_Spark-SQL之DataFrame操作大全
Spark SQL中的DataFrame类似于一张关系型数据表.在关系型数据库中对单表或进行的查询操作,在DataFrame中都可以通过调用其API接口来实现.可以参考,Scala提供的DataFra ...
scala学习-scala读取Hbase表中数据并且做join连接查询
1.业务需求:sparkSQL on hbase ,sparkSQL直接读取Hbase中的两个表,进行连接查询. 2.图示绿色的线上图中绿色的线是做过测试的,直接在hive中建表,然后load数据 ...
myeclipse读取mysql表中数据_在myeclipse中连接mysql查询数据
package com.ynu.www; import java.sql.*; public class ComInfluence { /** * @param args */ // 成功加载后,会将 ...
mysql清空表数据_mysql数据库之如何清空表中数据
本篇文章主要讲述的是在数据库中使用清空命令,具有一定学习价值,有需要的朋友可以了解一下,希望能够对你有所帮助. 在做数据迁移,数据清洗或者写web项目时要将数据替换更新,那么有时要将表做清空处理常用 ...
hive运行mysql脚本_用java代码调用shell脚本执行sqoop将hive表中数据导出到mysql
1:创建shell脚本 1 touch sqoop_options.sh2 chmod 777 sqoop_options.sh 编辑文件特地将执行map的个数设置为变量测试可以java代码 ...
快速确定HIve表中数据是否重复
经验:如何快速知道订单号是否重复?(因为Hive中没有主键,mysql严格要求主键)可以将订单号作为主键方式一: cnt 没有去重,order_cnt 去重, 如果得到结果相同,则表是没有重复 se ...
MySQL中SQL语句——DQL(数据查询语句)
前言: 首先对于数据库有一定的了解,会对于Mysql的学习有一定的帮助: 数据库主要分为 DB(数据库),DBMS(数据库管理系统),SQL(结构化查询语言,用于和DBMS通信的语言):这篇要讲的DQ ...
python怎么导入sql数据库,##使用python将excel表中数据导入sql server数据库
如何用python将excel数据导入到postgresql数据库中把excel表格另存为csv文件 python将exce文件含有多个sheet同时l导入sqlserver数据库需要使用xlrd ...

spark数据查询语句select_sparksql读取hive表中数据

spark数据查询语句select_sparksql读取hive表中数据相关推荐

最新文章

热门文章