使用PyHive操作Hive

1.环境：Cloudera

cloudera是一个hadoop的发行版，可以省去hadoop, hive等繁琐的安装，部署。

下载地址：https://www.cloudera.com/downloads.html

2.Python环境： Anaconda 版本：Python 3.7

Anaconda是一个非常好用的Python环境，特别是安装包的方便，可以不用pip，几乎能想到的包都有。

因为使用的是linux版本的，在官网下载后是一个.sh文件

通过

$ sh Anacouda3-5.3.1-Linux-x86_64.sh

执行安装

3.通过pyhive连接hive需要的Python包：

3.1 pyhive

3.2 thrift

3.3 sasl

共需要三个包

安装完Anaconda后，在终端分别输入

$conda pyhive

$conda thrift

$conda sasl

下载这些包

4.连接Hive

使用jupyter notebook

from pyhive import hive
import pandas as pd
cnn=hive.Connection(host='localhost', port='10000', username='hive')
cursor=cnn.cursor()
cursor.execute("show databases")
data=pd.DataFrame(cursor.fetchall())
print(data.head())

这里为了显示方便，导入了pandas库，利用Dataframe去显示返回的数据，因为将数据导入到了pandas里面，所以也可以直接利用查询语句选出数据，导入到pandas进行分析。

注意！如果连接不成功可以在终端输入

$ sudo service hive-server2 start

打开hiveService2借口, pyhive是通过这个接口与hive通讯的

使用PyHive操作Hive相关推荐

python调用hive与java调用区别_Python操作Hive的两种方法总结
方法一:使用PyHive库pip install sasl pip install thrift pip install thrift-sasl pip install PyHive Python脚本 ...
python操作hive和hive_sql语句
Hive是一个数据仓库基础的应用工具,在Hadoop中用来处理结构化数据,通过类SQL语言对数据进行操作.Hive将sql语句通过解析器转换成MapReduce作业提交到Hadoop集群上,Hadoo ...
【阿尼亚喜欢BigData】“红亚杯”数据分析进阶—使用Python操作Hive专题赛——满分解析③
大家好,喜欢Bigdata的阿尼亚来了!希望大家会喜欢阿尼亚的文章!!哇酷哇酷!!! 本次为师傅们带来的是"红亚杯"数据分析进阶-使用Python操作Hive专题赛--满分解析系列 ...
Spark采坑系列（三）Spark操作Hive的坑
2019独角兽企业重金招聘Python工程师标准>>> 跟着教学试着用Idea编程,实现Spark查询Hive中的表.结果上来就凉了. 捣鼓好久都不行,在网上查有说将hive-sit ...
spark2.2读写操作hive和mysql数据库
2019独角兽企业重金招聘Python工程师标准>>> sparksession操作hive数据库 1.需要将core-site.xml,hdfs-site.xml,hive-sit ...
SparkSQL操作Hive
title: SparkSQL操作Hive date: 2020-05-12 16:12:55 tags: Spark Apache Hive 是 Hadoop 上的 SQL 引擎,Spark SQL ...
python读取oracle数据到hvie parquet_关于sparksql操作hive，读取本地csv文件并以parquet的形式装入hive中...
说明:spark版本:2.2.0 hive版本:1.2.1 需求: 有本地csv格式的一个文件,格式为${当天日期}visit.txt,例如20180707visit.txt,现在需要将其通过spar ...
python数据导入hive_Python操作HIve，将数据插入到Mysql
Python操作HIve,将数据插入到Mysql import sys from hive_service import ThriftHive from hive_service.ttypes imp ...
大数据学习-python通过Pyhive连接hive数据库
1.hbase和hive结合 (1)hbase建表添加数据 #test是表名,name是列族 #hbase可以一个列族里边多个字段 create 'test','name'#添加数据 put 'tes ...
Hive的安装和使用以及Java操作hive
Hive 引言简介 hive是facebook开源,并捐献给了apache组织,作为apache组织的顶级项目(hive.apache.org). hive是一个基于大数据技术的数据仓库(DataW ...

使用PyHive操作Hive

使用PyHive操作Hive

1.环境：Cloudera

2.Python环境： Anaconda 版本：Python 3.7

3.通过pyhive连接hive需要的Python包：

3.1 pyhive

3.2 thrift

3.3 sasl

4.连接Hive

注意！如果连接不成功可以在终端输入

使用PyHive操作Hive相关推荐

最新文章

热门文章