一、相关概念

1、元数据(metadata)

元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。

元数据包括表的属性、表的名称、表的列、分区及其属性以及表数据所在的目录等。

2、Metastore作用

客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。

3、hive表

hive表包含内部表和外部表。

二、元数据存储

1、元数据的存储方式

元数据的存储主要有两种方式：第一种是使用hive自带的derby数据库进行元数据的存储；第二种是使用mysql数据库来进行hive元数据的存储;

2、两种方式存储区别

(1)内置derby存储

缺点：不同路径启动 hive，每一个 hive 拥有一套自己的元数据，无法共享
理解：在哪个目录下启动,就会在对应的目录下生成 derby.log 和 metastore.db,只有在此目录下再次启动才可以继续使用上次的元数据库。
这个是默认的，配置简单，但是一次只能一个客户端连接，适用于用来实验，不适用于生产环境。

(2)mysql存储

a、本地模式（Local）:本地安装mysql 替代derby存储元数据

不再使用内嵌的Derby作为元数据的存储介质，而是使用其他数据库比如MySQL来存储元数据。hive服务和metastore服务运行在同一个进程中，mysql是单独的进程，可以同一台机器，也可以在远程机器上。
这种方式是一个多用户的模式，运行多个用户client连接到一个数据库中。这种方式一般作为公司内部同时使用Hive。每一个用户必须要有对MySQL的访问权利，即每一个客户端使用者需要知道MySQL的用户名和密码才行。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration>
<property><name>hive.metastore.warehouse.dir</name><value>/user/hive_remote/warehouse</value>
</property><property><name>hive.metastore.local</name><value>true</value>
</property><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true</value>
</property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value>
</property><property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value>
</property><property><name>javax.jdo.option.ConnectionPassword</name><value>password</value>
</property>
</configuration>

b、远程模式（Remote）: 远程安装mysql 替代derby存储元数据

Hive服务和metastore在不同的进程内，可能是不同的机器，该模式需要将hive.metastore.local设置为false，将hive.metastore.uris设置为metastore服务器URL；
远程元存储需要单独起metastore服务，然后每个客户端都在配置文件里配置连接到该metastore服务。将metadata作为一个单独的服务进行启动。各种客户端通过beeline来连接，连接之前无需知道数据库的密码；
仅连接远程的mysql并不能称之为“远程模式”，是否远程指的是metastore和hive服务是否在同一进程内；

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value>
</property><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://master:3306/hive_remote?createDatabaseIfNotExist=true</value>
</property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value>
</property><property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value>
</property><property><name>javax.jdo.option.ConnectionPassword</name><value>password</value>
</property><property><name>hive.metastore.local</name><value>false</value>
</property><property><name>hive.metastore.uris</name><value>thrift://master:9083</valu>
</property></configuration>

三、表数据存储

1、内部表数据由Hive自身管理，外部表数据由HDFS管理；
2、内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse）；
3、外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹，并将属于这个表的数据存放在这里）；
4、未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；
5、删除内部表会直接删除元数据（metadata）及存储数据；删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除；
6、对内部表的修改会将修改直接同步给元数据，而对外部表的表结构和分区进行修改，则需要修复（MSCK REPAIR TABLE table_name;）

参考博客：

Hive Metastore原理及配置_代码人的自白的博客-CSDN博客_hive metastore

Hive内部表和外部表理解测试_郝少的博客-CSDN博客_hive中内部表和外部表的概念

Hive元数据存储和表数据存储相关推荐

如何设计云存储服务端数据存储加密机制
云存储是一种新型的网络存储形式.随着云存储的广泛使用,云存储中的数据安全问题,如数据泄漏.数据篡改,如何设计云存储服务端数据存储加密机制也成了用户广泛关注的问题.云存储可以分为访问层.应用接口层.基础 ...
Redis键-值数据库 nosql 数据建模（3）------ 如何存储主从表数据一对多关系
作者:QQ 14588019 WonderfulLife customers表 (主表) cust_id cust_name mobile address 3892045 ...
软件测试数据存储位置,关于数据存储类型的一点分析
简介 SQL Server每个表中各列的数据类型的有各种形式,产生的效果也各有不同,我们主要根据效率兼顾性能的情况下讨论下如何规定类型. 在SQL Server中,数据的存储以页为单位.八个页为一个区 ...
对象存储2：数据存储类型-文件存储、块存储、对象存储详解
上一篇介绍了传统存储的几个常用类型,本篇主要介绍云平台用到的常用存储类型,分别是文件存储.块存储和对象存储. 这种分类是以数据存储的方式来命名的,体现了不同的数据存储格式.文件存储会以文件和文件夹的层 ...
windows mobile开发循序渐进(4)移动应用程序的数据存储之本地数据存储第二篇
之所以分解来写,是因为在写的过程中会有些穿插的工作,希望能够尽量写的更细节一些. 上篇说的是本地存储的XML和DataSet之间的交互,现在我们来看看windows mobile 是如何与数据库进行交 ...
mysql数据存储方式_数据存储在mysql的两种方式
数据存储在mysql的两种方式发布时间:2020-05-12 16:16:25 来源:亿速云阅读:250 作者:三月下文主要给大家带来数据存储在mysql的两种方式,希望这些内容能够带给大家实际 ...
js cookie 存储checkbox_浏览器数据存储方式总结，网友：“精辟”！
今天主要来讲下前端的数据存储,说起数据存储,大家肯定第一时间想起cookie,localstorage,sessionstorage,而其实还有userData和IndexedDB这两种数据存储,接下 ...
【本地存储】将数据存储到本地（sessionStorage、vuex）
数据存储本地 sessionStorage.setItem("nm",info.nm); //第一参数是key,第二个参数是valsessionStorage.setItem(&q ...
计算机数据存储怎么转换,数据存储单位之间怎么换算数据储存单位之间换算方法【图文】...
关于数据存储,你了解它是怎么一回事吗?所谓的数据存储就是指需要数据流找到的信息,这些信息多半是加工过程中需要的.或者是一些临时文件,而这些文件也是在加工过程中出现的.以不同的格式将数据记录在电脑的内存 ...
矩阵存储 oracle表,矩阵存储方案 - Oracle® Developer Studio 12.5：性能库用户指南
矩阵存储方案对已存储的数组进行处理的某些 Oracle Developer Studio 性能库例程通常具有可利用这些特殊存储形式的相应例程.例如,DGBMV 将构成带状存储中的一般矩阵和向量的积, ...

Hive元数据存储和表数据存储