hive 写入mysql 覆盖_替换Hive的元数据库derby

Hive的数据库是目录，它的表也是目录，它的数据是文件。Hive内部把类似数据库或者表的操作转化成了目录和文件的操作。

Hive默认会把创建所需要的元数据写入自带的derby数据库,这个数据库非常轻量级，它有个缺点，它每次启动的时候都把元数据信息存储在metastore_db这个临时文件中，所以运行不在hive/bin目录中时，就无法读取到metastore_db文件，从而之前的库和表就都不见了。所以它不能应用在生产环境中，要把它替代掉。

Derby数据库元数据的问题:

默认放在/tmp目录下，重启后元数据就丢失了，但是数据不会丢失。可以修改hive的元数据放入mysql。

关键的元数据表

1dbs-记录所有的数据库

Default是默认的数据库，DB_LOCATION_URI记录了hadoop的存储位置。

2tbls-记录了所有的表

表存放数据库的元数据，注意表的类型:

Hive管理数据的方式:

1先创建表，后有数据。

2现有数据，再创建表。

3columns_v2存储表的字段

CD_ID标识属于哪个表

column_name字段

type_name字段所属类型

4sds-存储位置信息

与HDFS挂钩

hive 写入mysql 覆盖_替换Hive的元数据库derby相关推荐

hive 导入mysql数据库_求助 Hive 导入MYsql 数据库报错啊
该楼层疑似违规已被系统折叠隐藏此楼查看此楼 sqoop export \ --connect "jdbc:mysql://localhost:3306/emp?characterEncod ...
hive运行mysql脚本_用java代码调用shell脚本执行sqoop将hive表中数据导出到mysql
1:创建shell脚本 1 touch sqoop_options.sh2 chmod 777 sqoop_options.sh 编辑文件特地将执行map的个数设置为变量测试可以java代码 ...
hive mysql 实战_【Hive】HiveQL实战之分析函数窗口函数
本篇主要介绍将存储到Mysql的示例数据库Sakila以Sqoop的方式导入到Hive,然后详细讲解Hive的分析函数和窗口函数. 一实战环境 1 Hive版本 hive> select ve ...
hive取mysql数据oracle数据,Hive安装过程（mysql/oracle存储元数据）详解
Hive安装过程(mysql/oracle存储元数据) 前置条件: - mysql数据库已经安装成功 - hadoop环境已经配置正确,且可以提供正常服务说明: -由于资源有限,下面配置的hadoo ...
hive mysql 字符集_创建Hive表会自动更改mysql Metastore的字符集设置
但是,当我尝试删除表格时,出现如下所示的错误. FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were fo ...
hive向mysql导数据_Mysql Hive 导入导出数据
---王燕行转列sql select split(concat_ws(',',collect_set(cast(smzq as string))),',')[1] ,split(concat_ws(' ...
hive处理json数据_(转)hive中解析json数组
hive中解析一般的json是很容易的,get_json_object就可以了. 但如果字段是json数组,比如 [{"bssid":"6C:59:40:21:05:C4 ...
hive 计算周几_【hive】求日期是星期几
在Hive原生版本中,目前并没有返回星期几的函数. 除了利用java自己编写udf外,也可以利用现有hive函数实现. 方法格式: pmod(datediff('#date#', '任意年任意一个星期 ...
hive 十六进制转十进制_[转] Hive 内置函数
1.内置运算符 1.1关系运算符运算符类型说明 A = B 所有原始类型如果A与B相等,返回TRUE,否则返回FALSE A == B 无失败,因为无效的语法. SQL使用"=&q ...

hive 写入mysql 覆盖_替换Hive的元数据库derby

hive 写入mysql 覆盖_替换Hive的元数据库derby相关推荐

最新文章

热门文章