load data inpath的实践

有个需求，需要在hive表里面追加数据，数据是历史数据，是业务方给的一个csv文件，

思路，考虑使用load data inpath，把历史数据导入到hive表里面

步骤：

1、利用已经搭建好的大数据平台，把csv文件上传到HDFS, 我是直接利用大数据平台提供的页面上传功能，
如果没有这个条件的，可以使用命令行：hadoop fs -put xxx.csv /export, 指定一个目录，目录名为export

2、创建一个表，表里面的字段名称和字段顺序，跟csv文件保持一致，例如这个表名叫 infor.load_data_test;

3、load data inpath 'hdfs://xxxxxx/user/hive/warehouse/export/xxx.csv' overwrite into table infor.load_data_test;
其中'hdfs://xxxxxx/user/hive/warehouse/export/xxx.csv'，是文件上传后，存放的位置

4、把临时表的数据写入到正式的hive表中

INSERT into infor.formal_data_table
select field1,field2, 1597456800000 as create_time from infor.load_data_test;

加一个时间戳，标识这批数据是什么时候写入的

load data inpath的实践相关推荐

hive load data inpath 空目录_走近大数据之Hive进阶（一、Hive数据的导入）
一.使用Load语句进行数据的导入 -语法: LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]INTO TABLE tablename [PARTITIO ...
hive load data inpath ‘‘ overwrite into 坑
load data inpath 'dataDir/dim_url.csv' overwrite into table dim_url partition(day='2021-03') 注意: 1,以 ...
hive load data inpath 空目录_hive学习笔记之四：分区表
欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类和汇总,及配套源码,涉及Java.Docker.Kubernetes.DevO ...
hive load data inpath 空目录_Hive内部表 | 每日五分钟学大数据
上一篇说的是外部表,当把EXTERNAL关键字去掉的时候就是内部表了.为什么叫内部表,因为这种表,Hive会(或多或少地)控制着数据的生命周期. 如果你熟悉Hive那你一定知道,Hive默认情况下会将 ...
Hive - Load Data 数据过长或过短
一.引言 Hive 可以通过 load data inpath 加载本地或者 hdfs 的数据到 hive 表中,有时会出现生成数据长于 hive 表字段或者短于 hive 表字段的情况,经过测试,两 ...
hive load data外部表报错_从0开始学大数据-Hive基础篇
Hive起源于Facebook,是基于 Hadoop HDFS 分布式文件系统的分布式数据仓库架构.它为数据仓库的管理提供了许多功能:数据ETL(抽取.转换和加载)工具.数据存储管理和大型数据集的 ...
hive load data出错
今天往hive导数据时发生了个错误 hive> load data inpath '/user/tmp/uids.test_copy_3.txt' into table userfeature. ...
Error: Error while compiling statement: FAILED: SemanticException Unable to load data to destination
ods层新加了一张表,和以前的格式一样 DROP TABLE IF EXISTS ods_students_industry_level; CREATE TABLE `ods_students_ind ...
Hive Create Table和Load DATA详解
Hive Create Table和Load DATA详解一.Hive Create Table详细讲解二.LOAD DATA 测试使用三.内部表和外部表区别 Hive在使用创建表的时候,有有一 ...

load data inpath的实践

load data inpath的实践相关推荐

最新文章

热门文章