工作小记20201017-hive或inceptor相关

本篇日记为手机app码字
前几天发现星环inceptor或hive的一个问题，可能是缺陷吧。
我有一个分区表，分区字段为处理日期（procdate date），因为应用场景是为了增量数据，也定为每天只处理一批数据，这时那个procdate通常取值为当前日期（sysdate，星环支持一些oracle方言/函数），然而当我查询的时候发现一个性能问题现象，如下：
select * from tablename where procdate=trunc(sysdate, ‘dd’)
上面这个查询其实是没有数据的，但是执行时间特别长才返回空结果，通过观察4040界面（spark/inceptor都有），查看该任务详情，会产生几百个task，类似于全表扫描。
select * from tablename where procdate='2020-10-17‘
上面这个查询和前面那个是一样的结果，也是空，但是执行效率非常高，基本上算是瞬间返回，观察4040界面可以发现，只有2个task，并且有skipped的。
具体原因暂时没有仔细研究，先记录在此。
目前的解决方案是，查询条件上的当前日期通过程序或调度工具计算好传给它，而不直接通过数据库函数获取，性能方面得到了许多提升。

工作小记20201017-hive或inceptor相关相关推荐

hive与impala相关
hive与impala相关 hive的orc格式详解 ORC(The Optimized Row Columnar),被设计用来给hive提供更高效的数据存储格式.和其它数据格式相比(parquest ...
新的比较详细的hive安装教程，包含：hadoop的安装配置，hive安装详细教程，大数据下hive详细配置和简单使用和hive元数据迁移相关安装配置操作
简介:这是大数据里安装hive比较详细的教程,包括安装hive时hadoop的相关配置,hive安装,hive 之后的mysql安装,hive的元素配置到mysql相关配置,hive常见属性的相关配置 ...
spark指定hive字段_Spark2.0集成Hive操作的相关配置与注意事项
前言补充说明 Hive中metastore(元数据存储)的三种方式:内嵌Derby方式 Local方式 Remote方式 [一].内嵌Derby方式这个是Hive默认的启动模式,一般用于单元测试,这 ...
工作小记——一账通平台设计分析及结果
公司业务各方面展开,要新上多个平台.需要不同域名的多个平台可以共享登陆状态.准确得说,就是需要一账通平台现状:海银会(非标固收)与海银财富(公募基金)两个数据库.海银会平台一套系统 1.单点登录实现 ...
postgresql数据库工作常用命令-(数据库性能检查相关命令) -TODO
文章目录一.postgresql数据库工作常用命令 1. 数据库性能检查相关命令 2. 表结构信息查询 3. 命令行下更好显示查询结果一.postgresql数据库工作常用命令查看当前都有什么 ...
工作小记（三）----说说北京生活的乐趣
对于来北京是充满了期待的,终于来到了首都,这个将来我会在这打拼一段时间的地方. 首先想说的是,北京很大,真的很大:在廊坊的时候,从东园到西院,骑车10分钟左右的路程,都觉得远,当来到北京之后,才发现, ...
工作小记-Linux磁盘空间告警
环境介绍:Centos 6.3运行在ESXi 5.5中分了两块虚拟磁盘,一块大小为IDE 20G,另外一块为SCSI 73G. lsb_release -a查看版本为CentOS release 6 ...
【找工作资料】英文求职信相关
求职信的内容和格式写求职信的目的是争取面试机会,换句话说,也就是要使对方相信你是一个值得考虑的人选.最有效的方法莫如强调你为何可于将来成为他可用之材.以下建议供你参考: (Your telephon ...
工作中使用Hive SQL的几个知识点(建议收藏)
hive是基于Hadoop的一个数据仓库工具,用来进行数据的ETL,这是一种可以存储.查询和分析存储在Hadoop中的大规模数据的机制.hive能将结构化的数据文件映射为一张数据库表,并提供SQL查询 ...
工作小记（二）----说说烦心事
出来工作快有三个月了吧,7月底出来的,到现在:刚来上班的时候,赶上项目紧张,每天加班到晚上8点,大概加了有一个月的时间:后来招标方过来交流,因为这边没有做过类似的集成类的安防平台系统,招标方说不敢用, ...

工作小记20201017-hive或inceptor相关

工作小记20201017-hive或inceptor相关相关推荐

最新文章

热门文章