hive 修改cluster by算法_Hive基础之导出数据

我们在hive中分析完数据后有时候需要将结果导出到本地文件以供其他用途。hive中提供了几种方式来导出结果，下面就详细介绍一些这几种导出数据的方法。

1.导出到本地文件目录

(default

查看一下在本地目录保存的文件：

[root@node3 datas

可以看出，导出后保存的文件名称为000000_0，导出是以默认的分隔符来分隔数据的。上面的导出方式没有加入格式，我们可以使用创建表时的格式语法来定义导出的数据格式：

insert

执行结果如下：

hive (default)> insert overwrite local directory '/opt/datas/hive_exp_emp2'> ROW FORMAT DELIMITED FIELDS TERMINATED BY 't' > COLLECTION ITEMS TERMINATED BY 'n'> select * from default.emp ;
Query ID = hive_20190217172424_622c001a-7ca4-4a49-94dc-468cdd6a0475
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_1550060164760_0006, Tracking URL = http://node1:8088/proxy/application_1550060164760_0006/
Kill Command = /opt/cloudera/parcels/CDH-5.15.2-1.cdh5.15.2.p0.3/lib/hadoop/bin/hadoop job  -kill job_1550060164760_0006
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0
2019-02-17 17:24:43,307 Stage-1 map = 0%,  reduce = 0%
2019-02-17 17:25:38,391 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.55 sec
MapReduce Total cumulative CPU time: 1 seconds 550 msec
Ended Job = job_1550060164760_0006
Copying data to local directory /opt/datas/hive_exp_emp2
MapReduce Jobs Launched:
Stage-Stage-1: Map: 1   Cumulative CPU: 1.55 sec   HDFS Read: 4814 HDFS Write: 661 SUCCESS
Total MapReduce CPU Time Spent: 1 seconds 550 msec
OK
empno   ename   job     mgr     hiredate        sal     comm    deptno
Time taken: 95.151 seconds

查看一下结果：

[root@node3 hive_exp_emp

可以看出，查询导出来的结果是以制表符来进行分割的。

2.命令行导出

还有一种方式是直接使用hive命令，加入参数-e来导出到本地文件。

[root@node3 datas

可以看出，通过命令的方式也可以将hive表中的结果导出到本地表。

3.导出到hdfs文件系统

第三种方式是将查询结果保存在hdfs文件系统中，只需要将local关键字去除即可。

(default

需要将导出的文件从hdfs上下载到本地才能够进行查看：

[root@node3 datas

4.通过Sqoop工具

另外还可以使用Sqoop工具将hive中的数据导入到型数据库中，该工具也可以将关系型数据导入到hive或hdfs中，后面会详细介绍该工具。

hive 修改cluster by算法_Hive基础之导出数据相关推荐

hive 修改cluster by算法_Hive入门实战（一）概述与使用
一.Hive基本概念 1.概念 Hive:由Facebook开源用于解决海量结构化日志的数据统计. Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询 ...
hive 修改cluster by算法_疯狂Hive之DML操作（四）
DML操作 Load 在将数据加载到表中时,Hive不会进行任何转换.加载操作是将数据文件移动到与Hive表对应的位置的纯复制.移动操作. 语法结构: load data [local] inpath ...
hive 修改cluster by算法_spark、hive中窗口函数实现原理复盘
窗口函数在工作中经常用到,在面试中也会经常被问到,你知道它背后的实现原理吗? 这篇文章从一次业务中遇到的问题出发,深入聊了聊hsql中窗口函数的数据流转原理,在文章最后针对这个问题给出解决方案. 一. ...
hive 修改cluster by算法_双重聚类cluster咋做? 线性, logit, tobit可以双聚类吗?
凡是搞计量经济的,都关注这个号了邮箱:econometrics666@sina.cn 所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问. 上一 ...
hive 取消打印日志信息_Hive及其相关大数据组件
HDFS架构 Hadoop 分布式文件系统(HDFS)是 Hive 存储数据的地方,简单了解HDFS的基本机制和读写工作机制,对于排查HiveSQL 程序是否由于数据存储引发的性能问题有较大的帮助. ...
hive导入导出数据案例
查询数据: use ods;set /user.password=ODS-SH;select * from base_cdma_all limit 10; use tag_bonc;select * ...
hive 修改分区备注_Hive分区、分桶操作及其区别
点击上方"风控圈子" 选择"星标"公众号每天早上8:30,一起实现自我增值 Hive是基于Hadoop的一个数据仓库工具,使用类SQL的查询语句,即HQL对 ...
hive表级权限控制_Hive权限控制和超级管理员的实现
Hive权限控制 Hive权限机制: Hive从0.10可以通过元数据控制权限.但是Hive的权限控制并不是完全安全的.基本的授权方案的目的是防止用户不小心做了不合适的事情. 先决条件: 为了使用Hi ...
【BZOJ】3052: [wc2013]糖果公园树分块+带修改莫队算法
[题目]#58. [WC2013]糖果公园 [题意]给定n个点的树,m种糖果,每个点有糖果ci.给定n个数wi和m个数vi,第i颗糖果第j次品尝的价值是v(i)*w(j).q次询问一条链上每个点价值的 ...