python写数据到hive_Python数据篇之Pyhive

Python提供了操作hive数据仓库的API接口，一下记录Windows和Linux系统环境的环境配置和语法。目前笔者在Windows上不能成功运行程序，依然写下Windows平台配置。

1，安装三方库：

Windows:

sasl/thrift/thriftsasl/pyhive，其中thrift/thrift_sasl/pyhive可直接通过pip或者conda直接安装；sasl需要到如下网址下载whl文件安装：https://www.lfd.uci.edu/~gohlke/pythonlibs/，搜索下载对应版本的xxx.whl文件到本地，通过pip install xxx.whl来安装。

Linux:

sasl/thrift/thriftsasl/pyhive，直接通过pip即可安装。

2，代码实例：

from pyhive import hive

import sasl

import thrift

import thrift_sasl

import pysnooper

@pysnooper.snoop()

def read_hive(host, port, username, password, auth):

conn = hive.Connection(host=host, port=port, username=username, password=password, auth=auth)

cursor = conn.cursor()

query_sql = 'select * from user_table limit 10'

cursor.execute(query_sql)

result = cursor.fetchall()

cursor.close()

conn.close()

for res in result:

print(res)

return result

实例化Connection传参，auth为‘CUSTOM’，如果运行结果报错：thrift.transport.TTransport.TTransportException: TSocket read 0 bytes，则在hive集群机器修改配置文件：

打开hive-site.cml，增加如下内容：

hive.server2.authentication

NOSASL

3，以上步骤执行下来，Linux系统代码运行OK，Windows系统代码运行依然报错。

python写数据到hive_Python数据篇之Pyhive相关推荐

python获取实时基金数据由银河证券提供_我用Python写了个金融数据爬虫，半小时干了组里实习生一周的工作量...
原标题:我用Python写了个金融数据爬虫,半小时干了组里实习生一周的工作量最近,越来越多的研究员.基金经理甚至财务会计领域的朋友,向小编咨询:金融人需要学Python么? 事实上在2019年,这已 ...
用Python写了个金融数据爬虫，半小时干了全组一周的工作量
最近,越来越多的研究员.基金经理甚至财务会计领域的朋友,向小编咨询:金融人需要学Python么? 事实上在2019年,这已经不是一个问题了.Python已成为国内很多顶级投行.基金.咨询等泛金融.商科 ...
python写进程_将数据作为后台进程在Python中写入磁盘
您可以像这样尝试 using multiple processes: import multiprocessing as mp def compute(j): # compute a bunch of ...
用 Python 写网络编程（四）
本文首发于TesterHome社区,作者是资深游戏测试开发工程师陈子昂.用 Python 写网络编程共四篇,今天分享的是第四篇.原文链接:https://testerhome.com/topics/2 ...
python编写数据库连接工具_详解使用Python写一个向数据库填充数据的小工具(推荐)...
一. 背景公司又要做一个新项目,是一个合作型项目,我们公司出web展示服务,合作伙伴线下提供展示数据. 而且本次项目是数据统计展示为主要功能,并没有研发对应的数据接入接口,所有展示数据源均来自数据库 ...
震惊！这篇文章解读数据仓库、数据湖、数据中台等概念，竟然写了4万字！
点击上方 "zhisheng"关注, 星标或置顶一起成长 Flink 从入门到精通系列文章如今,随着诸如互联网以及物联网等技术的不断发展,越来越多的数据被生产出来-据统计,每天 ...
Python Qt GUI设计：窗口之间数据传递（拓展篇—5）
目录 1.单一窗口数据传输 2.多窗口数据传输:调用属性 3.多窗口数据传输:信号与槽在开发程序时,如果这个程序只有一个窗口,则应该关心这个窗口里面的各个控件之间是如何传递数据的.如果这个程序有多个 ...
一篇长文带你在python里玩转Json数据
Json简介 Json(JavaScript Object Notation) 很多网站都会用到Json格式来进行数据的传输和交换. 这因为Json是一种轻量级的数据交换格式,具有数据格式简单,读写方 ...
insert into 多条数据_最全总结 | 聊聊 Python 数据处理全家桶（Sqlite篇）
点击上方"AirPython",选择"加为星标" 第一时间关注 Python 技术干货! 1. 前言上篇文章聊到 Python 处理 Mysql 数据库最常 ...
python教育学_使用Python处理教育学领域的数据——以某篇期刊论文为例
Python是数据处理的常用语言,当然也可以用在教育学领域.下面以一篇期刊论文--为例,阐述使用Python处理教育学领域数据的思路和过程.为什么用这篇期刊文章呢,因为这篇文章的数据处理是我做的,比较 ...

python写数据到hive_Python数据篇之Pyhive

python写数据到hive_Python数据篇之Pyhive相关推荐

最新文章

热门文章