Squirrel 连接Hive
最近接手了一个数据分析的项目,开发语言是Hive。 看到见小伙伴们开发调试都在命令行上,经常需要window下编写hive sql,再拷贝到linux中进行执行,效率感觉比较低。于是,想寻找一个客户端工具来提供开发调试的效率。网上一问度娘,发现了Squirrel这个客户端工具,但对于如何安装、配置却没有一个完整描述,实在让人恼火。 运维同事也表示不熟悉开发工具,看来还得"自给自足"啊。
- 下载工具:https://sourceforge.net/projects/squirrel-sql/files/1-stable/3.8.0/squirrel-sql-3.8.0-standard.jar/download
- 下载完成后,进行正常的安装。安装完成的界面如下所示:
- 配置Driver,如下图所示:
填写名称
填写URL: jdbc:hive2://192.168.142.128:10000/test (可先随便写一个地址)
填写ClassName: org.apache.hive.jdbc.HiveDriver
重点问题,就是这里的 class Path:
需要选中Extra Class Path,然后让Hive的lib目录下的所有jar包和 hadoop的lib目录下的所有jar,都加入进来。
(虽然简单粗暴,却非常有效)
我个环境上,做了以上操作后,仍然缺少一个slf4j-api的jar包,只有单独下载并加入进来。
- 新建连接,选择刚刚创建的Driver,建立连接。如下所示:
这里的重点是这个用户名和密码。
首先打开hive的hive-site.xml,配置端口、用户名和密码。
<property><name>hive.server2.thrift.port</name><value>10000</value><description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'.</description> </property> <property><name>hive.server2.thrift.client.user</name><value>hive</value><description>Username to use against thrift client</description> </property> <property><name>hive.server2.thrift.client.password</name><value>123456</value><description>Password to use against thrift client</description> </property>
其次,打开hadoop的core-site.xml,配置代理用户(我理解是代理Hive远程连接去操作HDFS的用户),新增如下内容
远程连接时或使用 beeline连接,需要注意代理用户,其它用户无权限通过hive 操作hdfs
<property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property>
然后设置hadoop安装目录下的tmp目录的权限(操作系统本地目录)
chmod 777 hadoop目录上的tmp目录 (否则连接时会报:(Connection refused) (state=08S01,code=0))
最后记得重启hadoop和hiveServer2 。
重启还需要设置一下hdfs目录的权限(不是本地目录)
hdfs dfs -chmod -R 777 /tmp (否则运行sql时会报:Permission denied: user=hive, access=EXECUTE, inode="/tmp":root:supergroup:drwx-----)
开放操作系统的端口,否则仍然无法远程连接
firewall-cmd --add-port=10000/tcp
- 开始使用客户端进行连接
终于大功造成,记录下关键步骤分享给大家。
Squirrel 连接Hive相关推荐
- SQuirrel连接hive配置
1. 简介 最近由于大数据部门相关同事离职,不得不研究一下大数据相关组件,今天成功安装配置Hive,简单记录,一是为了加深印象,二是为以后备用,三是为大家提供参考,避免少踩坑. 在Hive的官 ...
- Hiv:SQuirrel连接hive配置
熟悉了Sqlserver的sqlserver management studio.Oracle的PL/SQL可视化数据库查询分析工具,在刚开始使用hive.phoenix等类sql组件时,一直在苦苦搜 ...
- mysql客户端连接hive_连接Hive的客户端界面工具–SQuirrel SQL Client
关键字:Hive客户端.界面.SQuirrel SQL Client 刚看到一个可以连接Hive的客户端界面工具–SQuirrel SQL Client,试了一下,用起来还行,在这里记录一下安装及使用 ...
- presto能连接mysql和hive吗_Presto连接Hive
接前一篇文章,这里只说怎样连接Hive. 配置 Hive Connector etc/catalog/hive.properties connector.name=hive-hadoop2 hive. ...
- DataGrip 连接 Hive
2019独角兽企业重金招聘Python工程师标准>>> DataGrip 简介 DataGrip 出自 JetBrains 公司, 是一款跨平台的数据库管理客户端工具, 可在 Win ...
- hive连接mysql的配置_Dbeaver连接Hive和Mysql的配置
1.连接Hive 首选需要配置Hive 这里我们采用的是JDBC的连接方式 (1) 在Hive中后台启动hiveserver2 [root@hadoop-101 hive]# bin/hiveserv ...
- MapReduce基础开发之九JDBC连接Hive
1.eclipse建工程,引入$HIVE_HOME/lib的包和$Hadoop_HOME/lib的包(一般核心包就可以,具体根据开发需求),导出jar包(不带第三方jar): 这里是Hive2,代码如 ...
- spark代码连接hive_Spark SQL入门到实战之(7)spark连接hive(spark-shell和eclipse两种方式)...
1.在服务器(虚拟机)spark-shell连接hive 1.1 将hive-site.xml拷贝到spark/conf里 cp /opt/apache-hive-2.3.2-bin/conf/hiv ...
- spark_spark连接hive config
1 环境 hadoop2.7.3 apache-hive-2.1.1-bin spark-2.1.0-bin-hadoop2.6 jdk1.8 2 配置文件 在hive-site.xml中配置mysq ...
最新文章
- LibreOJ 数列分块入门
- SQLServer无法打开用户默认数据库,登录失败,错误4064的解决办法
- 05 hex 格式_SREC、Hex、Bin等烧录文件格式完全解读
- qt中sendevent_Qt中postEvent和sendEvent函数
- 线程安全-常用的模式
- python协同过滤电影推荐_基于协同过滤的电影推荐系统的设计与实现
- 用python求期望_用Python计算明日方舟2021龙门幸运墙期望
- php-fpm nginx 关系,nginx 和php-fpm关系
- DW-办公自动化02(Excel)
- 创建oracle本地数据库步骤详解
- Spring boot应用【tailf】服务启动停止管理脚本
- java char表_char码值对应列表大全
- html5百度地图选中标注点,jQuery百度地图单点标注
- 记录一个问题:RJ45灯,绿灯与黄灯同时闪烁,连接出问题
- 计算机科学导论-绪论
- 《格鲁夫给经理人的第一课》--读书笔记
- 美国征信巨头Equifax遭黑客入侵,1.43亿公民身份数据泄漏
- 百看不如一练 100道python经典题目,拿去参考学习练手(附答案)可复制
- Python使用bokeh制作条形图分类对比
- win10卸载IE11后无法安装,启用windows功能的复选框消失。该如何解决?
热门文章
- Spring_JAP_CXF_maven
- [SV]合并数组和非合并数组
- 什么是一阶逻辑(First-order Logic)
- JL杰理AC6082 AC6084替换AC1082 AC1074 MP3解码芯片方案
- 空间平面方程matlab求解,向量代数和空间解析几何MATLAB求解.ppt
- 将office 的文件,word,xlsx,ppt,txt 转成pdf 供预览
- 200G绘声绘影素材以及教学视频送给你
- 图片批量添加水印软件 ImageWatermarkStudio
- 百度SEO站群在线随机看抖音快手小姐姐网站源码
- Terraform 学习总结(4)—— Terraform 实战