hive查询结果保存到本地

使用hive查询，结果我们通常会保存到hdfs，然后通过sqoop导出工具，将其导出到外部mysql或者其他地方，但是有时候查询结果就是一个数据，比如count(*)的结果，我们希望直接保存到一个中间变量，然后就可以直接将这个结果写入到mysql。
而hive按照条件查询一般会有很多output输出，很难直接捕获到结果。

但是我们可以通过将结果保存到本地文件，然后读取本地文件就可以解决这个问题了。
有两种解决办法：

1、通过输出流重定向的方式将查询结果输入到文件

hive -e "use domestic;select count(*) from uv where thedate=20181021" > /tmp/uv.txt

运行截图：

2、通过hive提供的overwrite语法将结果保存到本地文件夹中：

hive -e "use domestic;insert overwrite local directory '/tmp/uv-local' select count(*) from uv where thedate=20181021"

同样的运行结果会保存在本地的/tmp/uv-local文件夹下：

[lestat@localhost uv]$ cd /tmp/uv-local/
[lestat@localhost uv-local]$ ls
000000_0
[lestat@localhost uv-local]$ cat 000000_0
2666922
[lestat@PUSH-009 uv-local]$

结果直接保存在了文件里面，没有额外的信息，这就很好办了，接下来可以通过cat /tmp/uv-local/000000_0就可以取得结果。在sh脚本中就可以使用这个值了。

hive查询结果保存到本地相关推荐

mysql存储csv文件_MySQL 查询结果保存为CSV文件
MySQL支持将查询结果直接导出为文本格式,格式如下: into outfile '导出的目录和文件名' 指定导出的目录和文件名 fields terminated ...
Mysql 客户端查询结果如何保存到本地而不是服务端？
应用场景:知道某台DB服务器的IP和账户,登录上去查询了10W条记录,需要把这些记录拉到本地做分析方法1,远程连接到DB服务器执行OUTFILE命令,文件存储在DB机器上,只有mysql账户的情况下 ...
Hive的查询结果保存方法
2019独角兽企业重金招聘Python工程师标准>>> 创建hive表保存 create table MITx_3091x_2012_Fall as select * from mo ...
hadooppythonsql_实例讲解hadoop中的hive查询(python语言实现)
条件,假设配置好了hadoop和hive,并可以正常运行首先,要外部查询hive,你需要安装thrift和fb303,或许有别的办法,但我实际应用过程中看来,这是最简单的途径.hive本身提供了th ...
android读取excel数据库,Android 读取Excel数据并保存在本地数据库
在工作中遇到需要将Excel的数据读取出来并保存在本地数据库中的操作,数据如下: 图片.png 需要做以下准备: 读取Excel的jar包[文章末尾会分享该jar包] 保存数据的数据库框架,在这里我们 ...
hive快还是mysql快_HBase相对Hive查询速度快的对比
原标题:HBase相对Hive查询速度快的对比首先Hive的底层首先是MR,是属于批处理处理时间相对较长,不属于实时读写.在其架构上HBase和Hive有很大的区别. 架构介绍: Hive架构 –( ...
学习笔记Hive（五） —— Hive应用（3）—— Hive查询
五.Hive查询 5.1.创建职工信息表任务实现: 1.创建表dept,emp和salgrade 2.导入数据将数据emp.txt导入到表emp #emp.txt 7369,SMITH,CLERK ...
如何将hive查询结果导出成txt文件
原文地址:https://zhidao.baidu.com/question/241683835498891364.html ------------------------------------- ...
Jmeter进阶之性能测试响应结果保存到本地
VOL 332 11 2021-12 今天距2022年21天这是ITester软件测试小栈第332次推文点击上方蓝字"ITester软件测试小栈"关注我,每周一.三.五早上 0 ...

hive查询结果保存到本地

1、通过输出流重定向的方式将查询结果输入到文件

2、通过hive提供的overwrite语法将结果保存到本地文件夹中：

hive查询结果保存到本地相关推荐

最新文章

热门文章