hive数据导入导出和常用操作

导出到本地文件

insert overwrite local directory '/home/hadoop'
select * from test1;

导出到hdfs

insert overwrite directory '/data/input'
select * from test1;

导出到本地文件

hive -e "select * from test1" >> /home/hadoop/d.txt

hive -f a.sql >> local/e.txt

导入到其它表

insert overwrite 会覆盖已经存在的数据，我们假设要插入的数据和已经存在的N条数据一样，那么插入后只会保留一条数据；

insert into table t2 select * from t1;

insert into 只是简单的copy插入，不做重复性校验，如果插入前有N条数据和要插入的数据一样，那么插入后会有N+1条数据；

insert overwrite table t2 select * from t1;

创建表：

create TABLE tmp2
as
select t2.*,1 as d2
from t2
where EXISTS (select 1 from t1
where t1.account_id = t2.account_id)

更新数据update：

INSERT OVERWRITE TABLE tmp_jxsj_questionnaire_only
select t2.dt, t2.record_date,

　　when t2.q3 = '1' and t2.q10 = '7' then 0

　　else 1
end validity_flag
from t2

添加字段：

ALTER TABLE tmp_jxsj_questionnaire_5 ADD COLUMNS ( d2 string );

删除表

DROP TABLE [IF EXISTS] table_name;

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;
set mapreduce.job.reduces=15;
set hive.exec.compress.output=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;INSERT INTO role_info  PARTITION (dt)
SELECT t.*,
t.dt -- 对应参数PARTITION (dt)，可以对应多个分区参数，按顺序一一对应即可
from bigtable_log  t
where t.dt >='2017-04-21'
and t.dt <= '2017-04-25'

FROM bigtable_log a
INSERT overwrite TABLE test1
SELECT a.account_id
where  a.actiontype=25 and a.dt>='2017-04-20'
limit 1
INSERT overwrite TABLE test2
SELECT a.account_id
where  a.actiontype=11 and a.dt>='2017-04-20'
limit 1;

hive数据导入导出和常用操作相关推荐

hive数据导入导出
Hive数据导入导出的几种方式一,Hive数据导入的几种方式首先列出讲述下面几种导入方式的数据和hive表. 导入: 本地文件导入到Hive表: Hive表导入到Hive表; HDFS文件导入到H ...
hive常用功能：Hive数据导入导出方式
作为数据仓库的Hive,存储着海量用户使用的数据.在平常的Hive使用过程中,难免对遇到将外部数据导入到Hive或者将Hive中的数据导出来.今天主要就来学习一下Hive的几种数据导入和导出的方式. ...
利用sqoop将hive数据导入导出数据到mysql
http://niuzhenxin.iteye.com/blog/1726414 运行环境 centos 5.6 hadoop hive sqoop是让hadoop技术支持的clouder公司 ...
Hive 实战(1)--hive数据导入/导出基础
前沿: Hive也采用类SQL的语法, 但其作为数据仓库, 与面向OLTP的传统关系型数据库(Mysql/Oracle)有着天然的差别. 它用于离线的数据计算分析, 而不追求高并发/低延时的应用场景. ...
报表技术2(百万数据导入导出，POI操作word)
POI模板导出,操作word 导出用户详情数据(图片,公式处理) 使用模板导出用户详细信息使用模板引擎 1.编写模板引擎 2.使用模板引擎百万数据导出代码实现: 百万数据导入步骤分析: 1.自 ...
hive 数据导入导出
目录 hive outline 数据导入hive 本地文件 1. 加载本地文件studet.txt到hive默认数据库student表中(拷贝+追加) 2. 加载本地文件studet.txt到hive ...
数据工具sqoop用法之mysql与hive数据导入导出
一.pom org.apache.hive hive-jdbc 1.1.0 org.apache.hadoop hadoop-common 2.6.0 org.mybatis mybatis 3.4. ...
hive：建库建表、表分区、内部表外部表、数据导入导出
hive建库建表与数据导入建库 hive中有一个默认的库: 库名: default 库目录:hdfs://hdp20-01:9000/user/hive/warehouse 新建库: create ...
蓝的成长记——追逐DBA（3）：古董上操作，数据导入导出成了问题
蓝的成长记--追逐DBA(3):古董上操作,数据导入导出成了问题 ***************************************声明************************** ...
[转载]在SQL Server数据库之间进行数据导入导出，OPENDATASOURCE
需要在c盘下先建立一个data.txt文件,然后在文件的第一行写上你要导出的列,不如说要导出id和name这两列,就在第一行写上 id,name 然后保存,使用下列SQL就可以了,你如果要保持原有的I ...

hive数据导入导出和常用操作

hive数据导入导出和常用操作相关推荐

最新文章

热门文章