大数据学习-python通过Pyhive连接hive数据库

1.hbase和hive结合

（1）hbase建表添加数据

#test是表名，name是列族
#hbase可以一个列族里边多个字段
create 'test','name'#添加数据
put 'test','1','name:t1','1'
put 'test','1','name:t2','2'#查询
scan 'test'#查询 get 表名，row-key，列族
get 'test','1','name:t1'#删除表
disable 'test'
drop 'test'#查看表信息
desc 'test'

（2）在hive上创建外部表，映射hbase

CREATE EXTERNAL TABLE  test( key string,t1 int,
t2 int)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\u0001'
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,name:t1,name:t2")
TBLPROPERTIES ("hbase.table.name" = "test", "hbase.mapred.output.outputtable" = "test");

测试，两个平台数据是否相通。且数据同步更新。

2.hive连接和并用pandas读取数据

（1）配置hive-site.xml文件

<property><name>hive.server2.thrift.bind.host</name><value>192.168.99.250</value>
</property>
<property><name>hive.server2.thrift.port</name><value>10000</value>
</property>

（2）启动hive

hive --service metastore &
hiveserver2 &

（3）读取数据

from pyhive import hive
import pandas as pd
conn = hive.Connection(host = IP地址, port = 10000, username = 'hive')
#host主机ip,port：端口号，username:用户名，database:使用的数据库名称cursor = conn.cursor()
cursor.execute('show databases')# 打印结果
for result in cursor.fetchall():print(result) 或者pandas读取
sql = 'select * from default.employees'df = pd.read_sql(sql,conn)

大数据学习-python通过Pyhive连接hive数据库相关推荐

大数据学习笔记（十）-Hive中的Storage format
1.Storage format 行存储:SEQUENCEFILE.TEXTFILE 列存储:ORC.PARQUET.AVRO 行列混合存储:RCFILE. 2.行存储VS列存储行式存储: ①一行数 ...
hive hql文档_大数据学习路线分享hive的运行方式
大数据学习路线分享hive的运行方式,hive的属性设置: 1.在cli端设置 (只针对当前的session) 3.在java代码中设置 (当前连接) 2.在配置文件中设置 (所有session有效) ...
2022年Python+大数据学习路线图，源码笔记，最优学习资源
任何学习过程都需要一个科学合理的学习路线,才能够有条不紊的完成我们的学习目标.Python+大数据所需学习的内容纷繁复杂,难度较大,所以今天特别为大家整理了一个全面的Python+大数据学习路线图,帮 ...
【大数据学习之路之hive】
大数据学习之路之hive hive安装 mysql安装前言安装步骤 1.解压文件 2.安装依赖库 3.安装结束后,配置mysql 4.设置开机自启动 5.添加环境变量 6.初始化mysql 7.开 ...
大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建图文详解
引言在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
大数据学习笔记一：大数据的发展历程--MapReduce，Hive，Yarn，Hadoop，Spark，Flink
大数据学习系列文章:大数据-博客专栏今天在学习极客时间专栏:<从0开始学大数据> 从预习 01 | 大数据技术发展史:大数据的前世今生到预习 03 | 大数据应用领域:数据驱动一切,系统 ...
试图加载格式不正确的程序_好程序员大数据学习路线之hive存储格式
好程序员大数据学习路线之hive存储格式,hive的存储格式通常是三种:textfile . sequencefile . rcfile . orc .自定义 set hive.default.fil ...
大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
大数据学习系列之八----- Hadoop.Spark.HBase.Hive搭建环境遇到的错误以及解决方法参考文章: (1)大数据学习系列之八----- Hadoop.Spark.HBase.Hiv ...
深圳大数据培训：好程序员大数据学习路线之hive 存储格式
深圳大数据培训:好程序员大数据学习路线之hive 存储格式好程序员大数据学习路线之hive存储格式,hive的存储格式通常是三种:textfile . sequencefile . rcfile . ...

大数据学习-python通过Pyhive连接hive数据库

大数据学习-python通过Pyhive连接hive数据库相关推荐

最新文章

热门文章