Hive Load装载数据与HDFS的关系

装载数据：LOAD移动数据

LOCAL：指定文件位于本地文件系统；OVERWRITE表示覆盖现有数据
使用方法：

-- load数据格式
LOAD DATA LOCAL INPATH '/home/Downloads/employee.txt'
OVERWRITE INTO TABLE employee;-- 方式一：LOCAL表示文件位于本地，OVERWRITE表示覆盖现有数据
LOAD DATA LOCAL INPATH '/home/Downloads/employee.txt'
OVERWRITE INTO TABLE employee_partitioned  PARTITION (year=2014, month=12);-- 方式二：没有LOCAL,文件位于HDFS文件系统中
LOAD DATA INPATH '/tmp/employee.txt'
OVERWRITE INTO TABLE employee_partitioned PARTITION (year=2017, month=12);

方式二比方式一快，因为文件已经在HDFS中了，只需改变NameNode上对data的位置映射即可。方式一牵扯到上传文件到DataNode。虽然这些数据都在table的文件夹之下可以找到，但其实在HDFS系统上，在存储位置上，所有的数据还是都存在data的文件夹下。

语句：

 hive> load data [local] inpath '数据的 path' [overwrite] into table student [partition (partcol1=val1,...)];

(1)load data:表示加载数据
(2)local:表示从本地加载数据到 hive 表;否则从 HDFS 加载数据到 hive 表 (3)inpath:表示加载数据的路径 (4)overwrite:表示覆盖表中已有数据，否则表示追加
(5)into table:表示加载到哪张表
(6)student:表示具体的表
(7)partition:表示上传到指定分区

Hive Load装载数据与HDFS的关系相关推荐

Hive - Load Data 数据过长或过短
一.引言 Hive 可以通过 load data inpath 加载本地或者 hdfs 的数据到 hive 表中,有时会出现生成数据长于 hive 表字段或者短于 hive 表字段的情况,经过测试,两 ...
hive mysql hdfs关系_Hive中的数据库、表、数据与HDFS的对应关系
1.hive数据库我们在hive终端,查看数据库信息,可以看出hive有一个默认的数据库default,而且我们还知道hive数据库对应的是hdfs上面的一个目录,那么默认的数据库default到底 ...
Hive学习笔记（五）向表中装载数据
1.向管理表中装载数据再次强调,Hive没有行级别的数据插入.数据更新和删除操作. LOAD DATA LOCAL INPATH '${env:HOME}/california-employees' ...
数据仓库Hive编程——HiveQL的数据操作（一）：向管理表中装载数据
既然Hive没有行级别的数据插入.数据更新和删除操作,那么往表中装载数据的唯一途径就是使用一种"大量"的数据装载操作.或者通过其他方式仅仅将文件写入到正确的目录下. 在<Hi ...
hive load data inpath 空目录_走近大数据之Hive进阶（一、Hive数据的导入）
一.使用Load语句进行数据的导入 -语法: LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]INTO TABLE tablename [PARTITIO ...
hive load data外部表报错_从0开始学大数据-Hive基础篇
Hive起源于Facebook,是基于 Hadoop HDFS 分布式文件系统的分布式数据仓库架构.它为数据仓库的管理提供了许多功能:数据ETL(抽取.转换和加载)工具.数据存储管理和大型数据集的 ...
Spark读取Hive数据的两种方式与保存数据到HDFS
Spark读取Hive数据的两种方式与保存数据到HDFS Spark读取Hive数据的方式主要有两种 1. 通过访问hive metastore的方式,这种方式通过访问hive的metastore元数 ...
数据从HDFS文件迁移到Hive
创建用户表usertbl在hive中,代码实现如下: create table usertbl (id int , deviceID String, patientID String, deviceT ...
Hadoop2异常分析（一）：hdfs移动数据至 hive,为什么原数据没有了？
在向hive表中添加数据的时候,location指定的位置如果是本地文件,则会将本地文件复制一份至表中: 但是如果指定location数据在hdfs上面(通常情况下),则只是对数据进行移动,你会发现这 ...

Hive Load装载数据与HDFS的关系

Hive Load装载数据与HDFS的关系相关推荐

最新文章

热门文章