hive将元数据存储在metastore上，将数据存储在hdfs上；二者怎么关联呢?
其实就是：我们在hive客户端建立一个table，当该table的路径与hdfs上的存储数据的路径一致时，二者便可以联系起来。

准备基础

1.Hadoop安装，hdfs集群启动
2. hive安装
3. 用jps命令查看各客户端的启动情况；如下：

数据准备

我们想要上传到hdfs上的数据内容如下：
先创建一个 testdata.txt

touch testdata.txt

{"name": "songsong","friends": ["bingbing" , "lili"] ,"children": {"xiao song": 18 ,"xiaoxiao song": 19}"address": {"street": "hui long guan","city": "beijing"}
}

元数据创建

1.先验知识：

hive基本数据类型：

hive	java
TINYINT	byte
SMALINT	short
INT	int
BIGINT	long
BOOLEAN	boolean
FLOAT	float
DOUBLE	double
STRING	string
TIMESTAMP	-
BINARY	-

hive集合数据类型

数据类型	描述
STRUCT	就类似c语言的结构体
MAP	键值对 key-value，相当于字典：{“grad": 3}
ARRAY	类似数组：[“ss”, “ss”]

2.创建元数据信息

启动hive

bin/hive

结合testdata内容创建元数据表

在 hive> 里输入如下命令:

create table test(
name string,
friends array<string>,
children map<string, int>,
address struct<street:string, city:string> )
row format delimited fields terminated by ','
collection items terminated by '_'
map keys terminated by ':'
lines terminated by '\n';

命令解释如下：
创建一个叫做test的table；
2-5行写上：表头名称 以及 对应的数据结构
6-9是对数据进行说明：

row format delimited fields terminated by ','
collection items terminated by '_'
map keys terminated by ':'
lines terminated by '\n';# 用”,“标志每一个row_id数据结束
# 用”_“来连接每一个row_id里面的数据
# 用":" 来映射map结构下的数据键值对
# 用回车符号表示数据填写结束

由于hive-site.xml配置里，在hdfs上的存储目录设置如下：

因此我们在hdfs上可以查看到 /user/hive/warehouse/test 目录的创建

根据hive描述的那样，在testdata.txt里面的文件应该如下填写，才能被hive识别出来；

songsong,bingbing_lili,xiao song:18_xiaoxiao song:19,hui long
guan_beijing

至此，我们在hive上创建好了 test 的元数据表映射，也准备好了数据testdata.txt；接下来该上传了！

3.数据上传到hdfs：

因为hive创建的数据表table（test）是在下/user/hive/warehouse/test下，所以我们把创建的数据 testdata.txt 也上传到该目录，以便hive可以查询到：

hadoop fs -put testdata.txt /user/hive/warehouse/test

刷新hdfs页面查看：

在hive上查询

在hive上创建数据相关推荐

使用Spark SQL读取Hive上的数据
Spark SQL主要目的是使得用户可以在Spark上使用SQL,其数据源既可以是RDD,也可以是外部的数据源(比如Parquet.Hive.Json等).Spark SQL的其中一个分支就是Spar ...
2018-11-13#Hive外表创建和加载数据
hive 关联表和外表的区别: 1. 外部表需要external关键之,location是数据文件默认存放位置,不管是不管是select 还是load的数据都存放在这里.导入数据到外部表,数据并没有m ...
MySQL学习笔记_2_MySQL创建数据表（上）
MySQL创建数据表(上) 一.创建数据表的SQL语句模型[弱类型] CREATETABLE [IF NOT EXISTS] 表名称( 字段名1列的类型[属性][索引], 字段名2 列的类型[属性][ ...
hive表分区上传数据出现的一个问题及解决思路
hive表分区用load上传数据时, 出现了报错: Failed with exception MetaException(message:For direct MetaStore DB conne ...
Windows PC上创建大数据职业技能竞赛实验环境之四--客户端环境的搭建
Hadoop集群访问客户端 X window Jet brain Idea和客户端开发环境以上环境我们将在WSL的Ubuntu docker容器中实现,其中对X和Idea的访问,通过Windows ...
如何用python在mysql上创建1亿条数据
建表首先在MySQL的example库上创建表user use example; create TABLE `user` (`id` int(11) NOT NULL,`last_name` var ...
spark如何正确的删除hive外部表【删除表时同时删除hdfs上的数据】？
在spark 2.4.x和hive 3.1.x环境下,spark通过sql (drop table xxx)删除hive的外部表,只能删除hive的元数据信息,但没有删除hdfs上的数据,导致hdfs ...
在页面上根据数据，动态创建表格
在页面上根据数据,动态创建表格 var arr = [ { name: 'Jack', age: 18, gender: '男' },{ name: 'Rose', age: 20, gender: ...
## Hive分析疫情数据
拿到的数据部分如下: 4月27日,黑龙江,境外输入-不详,0,45,0,黑龙江卫健委,https://m.thepaper.cn/newsDetail_forward_7160075, 4月27日,内 ...

在hive上创建数据