大数据之将txt文件上传到HDFS并用Hive查询

2024-04-18 03:51:31

在生产上，一般对数据清洗之后直接放到HDFS上，再将目录加载到分区表中，之后通过hive去查询分析数据；

1、准备数据

order_created.txt

用 tab分割

10703007267488 2014-05-01 06:01:12.334+01

10101043505096 2014-05-01 07:28:12.342+01

10103043509747 2014-05-01 07:50:12.33+01

10103043501575 2014-05-01 09:27:12.33+01

10104043514061 2014-05-01 09:03:12.324+01

order_created.txt 存放位置

[root@zjj101 soft]# pwd
/root/soft[root@zjj101 soft]# ls
data docker hadoop-2.7.2 hive-1.2.1 myconf order_created.txt tmp

2、在hdfs上创建准备放数据的目录

准备放到这里:

/user/hive/warehouse/order_partition/

[root@zjj101 soft]# hadoop fs -mkdir /user/hive/warehouse/order_partition/event_time=2014-05-02

3、查看数据是否上传成功

4、关联元数据再查询

-- 刚刚给数据放到hdfs上面了,但是元数据没有,所有需要修复一下再执行查询语句,否则的话是查询不到的
msck repair table order_partition;--  执行查询语句
select *
from order_partition
where event_time = '2014-05-02';

总结：

1、准备数据

将txt文件上传到hdfs中（可借助工具Xftp、Xshell），或者通过sqoop将mysql数据导入到hdfs

2、使用hive读取hdfs上的数据，将SQL语句转变成MapReduce任务来执行，进行数据分析。

大数据之将txt文件上传到HDFS并用Hive查询相关推荐

通过Java程序将“/你的名字拼音缩写/input1/shixun1.txt”文件上传到HDFS的“/你的名字拼音缩写/java/input1/”目录下；通过Java程序将HDFS上的“/你的名字拼音
题目: 通过Java程序将"/你的名字拼音缩写/input1/shixun1.txt"文件上传到HDFS的"/你的名字拼音缩写/java/input1/"目录下 ...
java android上传文件_Java-Android-如何将txt文件上传到网站？
我想将txt文件上传到网站,我承认我没有对其进行任何详细的研究,但是我看了一些示例,并希望就我是否朝着正确的方向提出更多的经验性意见. . 这是我到目前为止的内容: DefaultHttpClient ...
php 上传多个txt文件上传,一个多文件上传的例子(原创)
一个多文件上传的例子(原创) 更新时间:2006年10月09日 00:00:00 作者: //filename:multi_upload.php if($ifupload) { $path=Add ...
html5 txt文件上传,JavaScript html5利用FileReader实现上传功能
本文实例为大家分享了H5利用FileReader上传文件的具体代码,供大家参考,具体内容如下 1. Html部分文件上传演练 Browse... 2. JS部分 var result = docum ...
文件传服务器上全是乱码,解决txt文件上传oss服务器乱码的问题
今天上传txt文件下载下来却乱码,搞了一下午,发现还挺复杂.记录一下. 1.首先服务器只接受utf-8格式的文件,所以首先想到的就是转码问题. 这是网上很容易就找到的判断文件编码的代码.判断出来之后如 ...
FTP压缩文件上传到HDFS大小不一致的问题说明(FTP传输模式)
1.问题:将ftp文件服务器上的压缩文件通过内存流直接写入HDFS内,却发现文件不一致,MD5SUM校验也不一致. 2.分析: FTP的传输有两种方式:ASCII传输模式和二进制数据传输模式. 1)A ...
大数据之-Hadoop之HDFS的API操作_文件上传---大数据之hadoop工作笔记0056
然后我们HDFS的java的api操作. 比如我们有个需求从mysql中把数据上传到完全分布式的集群中的,hdfs中比如这里首先我们演示,把e盘下的banzhang.txt文件上传到完全分布式集群h ...
spring boot 整合web开发之文件上传、静态资源访问、异常处理、返回JSON数据
目录 springboot 整合web开发返回json数据静态资源访问文件上传全局异常 1.返回json数据 springboot默认的是jackson-databind做为json处理器.也 ...
前端大文件上传和下载（分片上传）
前端大文件上传和下载(分片上传) 一.问题日常业务中难免出现前端需要向后端传输大型文件的情况,这时单次的请求不能满足传输大文件的需求,就需要用到分片上传业务需求为:用户可以上传小于20G的镜像文件 ...

最新文章

热门文章