anaconda3.6.5安装pyhive

1.首先安装anaconda3.6.5

略

2.配置好bin下环境变量

3.来到anaconda官网，搜索需要的包，pyhive(不是anaconda前缀的也行，例如biaze/pyhive)

https://anaconda.org/anaconda/

如上截图，选择 anaconda 对应的pyhive，点击进去

点击FIles，选择linux-64/pyhive-0.6.0-py36_0.tar.bz2

注：_0,_1是小版本，下那个都行；py36对应python3.6

4.安装pyhive

conda install pyhive-0.6.0-py36_0.tar.bz2

5.启动python（anaconda3.6.5/bin/python）

from pyhive import hive

如果报错，就去安装对应缺少的包，直接在anaconda3官网搜索

例如：

这里缺少的past，你去搜索会发现只有paste，安装后还是会报这个错，这时直接百度python paste

点击进去安装past包，发现past是含在future包中的，在anaconda3官网搜索future安装对应版本，解决上面的问题，pyhive至此安装完毕

6.pyhive测试

（1）首先启动hiveserver2服务（后台启动,命令打全）

nohup hive --service hiveserver2 --hiveconf hive.server2.thrift.port=端口 &

注：别与其他用户端口冲突，可以先这样启动：hive --service hiveserver2 --hiveconf hive.server2.thrift.port=端口，然后查看是否有端口冲突报错

（2）进入python进行测试连接：（端口为启动hiveserver2的端口）

from pyhive import hive

conn = hive.Connection(host='xxxx', port=xxxx, username='xxx', database='xxxx')

cursor= conn.cursor()

cursor.execute('select * from xxx limit 10')

for result in cursor.fetchall():

（三个及以上空格）print result （只能输出select 的结果，insert无法输出）

(3)关于pyhive insert等走mr流程的操作无法得到资源运行的问题，请设置如下：

cursor.execute("set mapreduce.job.queuename=队列名")（测试可用，放到执行语句前面）

（4）关闭hive锁

set hive.support.concurrency=false;

问题：

pyhive先执行select，在执行insert操作，出现hive锁

from pyhive import hive

conn = hive.Connection(host='xxxx', port=xxxx, username='xxx', database='xxxx')

cursor= conn.cursor()

cursor.execute('select * from xxx limit 10')

正常这一步

cursor.execute(‘insert into test values (1)')

这一步出现报错

解决：

执行如下：

cursor.execute("set hive.support.concurrency=false")

再次运行，成功执行

anaconda3.6.5安装pyhive相关推荐

安装自带python3.6的Anaconda3，并安装tensorflow，导入Pycharm中使用
@实验笔记--记录实验中遇到的问题直接安装自带python3.6的Anaconda3,并安装tensorflow,导入Pycharm中使用之前看了很多博客中的教程,讲解如何在anaconda中安装 ...
Linux安装pyhive
Linux安装pyhive 安装说明下载Linux系统离线依赖包并进行安装安装python相关依赖包安装pyhive 参考文章安装说明 pyhive安装难点在于sasl依赖包的安装,sasl需 ...
linuxpython安装hive_Linux离线环境安装Pyhive包及通用方式
一.Linux离线安装GCC编译环境安装之前要查看离线环境的Linux版本,因为下载文档需要Linux的版本对应 1 uname -a显示全部信息显示版本号,该机版本为centos 6.6,属于6 ...
已解决：Windows下Anaconda3卸载+下载+安装教程+tensorflow+keras+jupyternotebook
清理已下载的Anaconda3: 打开Anaconda prompt,输入命令 : conda install anaconda-cleananaconda-clean 一路"yes&quo ...
ubuntu16.04+anaconda3+python3.6安装OpenCV3.1.0
一.首先要安装anaconda3 1.下载anaconda3 for python3.6,下载地址:anaconda3 下载你需要的版本,这里我是下载的Anaconda3-5.2.0-Linux-x8 ...
win10 + 独显 + Anaconda3 + tensorflow_gpu1.13 安装教程（跑bert模型）
这里面有很多坑,最大的坑是发现各方面都装好了结果报错 Loaded runtime CuDNN library: 7.3.1 but source was compiled with: 7.4.1, ...
PyCharm集成Anaconda3环境下安装腾讯优图报错 ERROR: Could not install packages due to an EnvironmentError
一.报错截图如下: ERROR: Could not install packages due to an EnvironmentError: [Errno 2] No such file or di ...
anaconda+python3.7安装keras_win10（64）+python3.7+Anaconda3+tensorflow-cpu+Keras安装（亲测有效）...
1.安装准备: Anaconda3(内带python3.7.6) win10(64位) 准备安装tensorflow-cpu版 2.tensorflow和Keras对应版本(一定要对应,遇坑无数) 3 ...
anaconda中安装xgboost_在windows64位Anaconda3环境下安装XGBoost
安装步骤参考的是: "Installing XGBoost For Anaconda on Windows":https://www.ibm.com/developerworks/ ...
windows10 下使用Pycharm2016 基于Anaconda3 Python3.6 安装Mysql驱动总结
本文记录:在PyCharm2016.3.3 中基于Anaconda3 Python3.6版本安装Python for Mysql驱动.尝试了安装Mysql-Connector成功,但是连接数据库时驱动 ...

anaconda3.6.5安装pyhive

anaconda3.6.5安装pyhive相关推荐

最新文章

热门文章