Hive外部分区表加载flume打到hdfs上文件，读不到.tmp文件

摘要 flume打到hdfs上时，按照文件大小生成文件，在达到指定大小之前数据都是以.tmp文件形式保存在hdfs上，hive外部表也会加载这些文件，但是当文件完成后.tmp会消失，这时候hive会报找不到文件的错误。类似于：Caused by：org.apache.ahdoop.ipc.RemoteException(java.io.FileNotFoundException)：File does not exist：/......../..../..xxx.log.tmp

hive外部分区表加载不到flume的临时文件 hive自定义Pathfilter过滤加载数据的方式 hive过滤数据文件

flume打到hdfs上时，按照文件大小生成文件，在达到指定大小之前数据都是以.tmp文件形式保存在hdfs上，hive外部表也会加载这些文件，但是当文件完成后.tmp会消失，这时候hive会报找不到文件的错误。解决方法是自己写hive的pathfilter类，hive加载数据的时候把tmp文件过滤掉不加载即可。

错误信息如下：

自定义PathFilter类如下：

/**

*

* @Title: FileFilterExcludeTmpFiles.java

* @Description: hive加载分区表时会加载.tmp的文件，该类型文件在flume滚动数据之后就会消失，此时hive找不到该文件就会报错

* 该类会将.tmp的文件过滤掉，不加载进hive的分区表中

* @version V0.1.0

* @see

*/ public class FileFilterExcludeTmpFiles implements PathFilter{

private static final Logger logger = LoggerFactory.getLogger(FileFilterExcludeTmpFiles.class);

public boolean accept(Path path) {

// TODO Auto-generated method stub return !name.startsWith("_") && !name.startsWith(".") && !name.endsWith(".tmp");

}

编写完后，打成jar包上传服务器，再修改hive-site.xml文件，修改如下：

<property>

<name>hive.aux.jars.path</name><value>file:///usr/lib/mylib/FilterTmpPath.jar</value>

<description>The location of the plugin jars that contain implementations of user defined functions and serdes.</description>

</property>

<property>

<name>mapred.input.pathFilter.class</name>

<value>cn.utils.hive.FileFilterExcludeTmpFiles</value>

</property>

切记：不能有回车换行这样的字符，要不然回报一些乱七八糟的错误，博主就被坑的七零八碎的！！！！

Hive外部分区表加载flume打到hdfs上文件，读不到.tmp文件相关推荐

hive外部表改为内部表_3000字揭秘Greenplum的外部数据加载——外部表
外部表是greenplum的一种数据表,它与普通表不同的地方是:外部表是用来访问存储在greenplum数据库之外的数据.如普通表一样,可使用SQL对外部表进行查询和插入操作.外部表主要用于Green ...
hive内部表和外部表的区别_3000字揭秘Greenplum的外部数据加载——外部表
外部表是greenplum的一种数据表,它与普通表不同的地方是:外部表是用来访问存储在greenplum数据库之外的数据.如普通表一样,可使用SQL对外部表进行查询和插入操作.外部表主要用于Green ...
html页面判断其他div为空,将外部html加载到div中 - 页面加载然后变为空白
我确信这将会变成一件愚蠢的事情,但是自从我成为JavaScript noob以来,这里就变成了一件愚蠢的事情.将外部html加载到div中 - 页面加载然后变为空白我想外部HTML内容加载到我的索引 ...
3springboot：springboot配置文件（外部配置加载顺序、自动配置原理,@Conditional）
1.外部配置加载顺序 SpringBoot也可以从以下位置加载配置: 优先级从高到低高优先级的配置覆盖低优先级的配置,所有的配置会形成互补配置 1.命令行参数所有的配置都可以在命令行上进行指定 ...
配置文件加载位置||外部配置加载顺序||自动配置原理
配置文件加载位置 SpringBoot会从这四个位置全部加载主配置文件:互补配置: 外部配置加载顺序自动配置原理 1.自动配置原理: 1).SpringBoot启动的时候加载主配置类,开启了自动配置 ...
Spring boot外部配置加载顺序
外部配置加载顺序 Spring boot 可以从以下位置加载配置优先级从高到低高优先级的配置,覆盖低优先级的配置所有的配置,会形成互补配置官网,给出了17个位置这里,只介绍常用的11个位置 ...
SpringBoot_配置-外部配置加载顺序
接下来我们再来看SpringBoot的一个特点,外部配置的加载顺序,也就是说,SpringBoot我们要写一些配置,配置可以写在我们的配置文件,application.properties,放到类路径 ...
Springboot 配置文件的加载位置以及优先级和外部配置文件加载的优先级
配置文件的加载位置: springboot在启动时会扫描以下位置的application.properties文件或者application.yml文件作为springboot默认的配置文件. 项目目 ...
Oracle 外部表加载监听日志,使用外部表访问监听日志
某天工作是使用外部表加载监听日志信息,观察并分析用户连接数变化趋势按照eygle循序渐进oracle的教程一步步进行: 测试使用外部表先创建目录: connect / as sysdba crea ...

Hive外部分区表加载flume打到hdfs上文件，读不到.tmp文件

Hive外部分区表加载flume打到hdfs上文件，读不到.tmp文件相关推荐

最新文章

热门文章