Impala 代替 hive COLLECT_SET函数的方式

背景
之前是在HIVE上开发，GROUP BY 某些字段后，其他字段使用COLLECT_SET(ITEM)[0]的方式取相同字段值中的一个，而在Impala上没有COLLECT_SET函数。

方案
使用GROUP_CONCAT函数+SPLIT_PART函数替代

## IMPALA
SELECT SCORE,SPLIT_PART(GROUP_CONCAT(NAME),',',1) FROM TEST.STUDENT GROUP BY SCORE
## HIVE
SELECT SCORE,COLLECT_SET(NAME)[0] FROM TEST.STUDENT GROUP BY SCORE

Impala 代替 hive COLLECT_SET函数的方式相关推荐

Hive collect_set函数
2019独角兽企业重金招聘Python工程师标准>>> 背景工作中遇到这样一个需求, 就是需要查出品牌对应的所有分类, 目前品牌分类表大致结构如下: av_seq cp_seq 1 ...
Impala UDF - Impala调用Hive UDF函数
Impala 中运行 Hive UDF 场景:部分查询需要快速返回,使用Impala进行快速.复杂的查询 1.简单的UDF函数过滤,判断是否包含"好"字,返回boolean类型 i ...
impala与hive标准差函数的差异
因为以上差异,impala的标准差函数不支持配合移动计算的标准差数据. 详情待码
HIve 中 collect_list和collect_set 函数的使用总结
Hive中collect相关的函数有collect_list和collect_set. 它们都是将分组中的某列转为一个数组返回,collect_list函数不去重而collect_set函数会去重. ...
Impala与Hive的比较
2019独角兽企业重金招聘Python工程师标准>>> 1. Impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL ...
hive substr函数_数据分析工具篇——HQL函数及逻辑
本篇文章我们梳理一下hive常用的函数,对于hive而言,常用的函数并不是特别多,往往记住关键几个,就可以解决80%的问题,这也是大家喜欢hive的原因,那么,常用的函数有哪些呢? 时间函数 1)时间 ...
大数据计算引擎：impala对比hive
目录 Impala与Hive的异同数据存储元数据 SQL解释处理执行计划: 数据流: 内存使用: 调度: 容错: 适用面: Impala相对于Hive所使用的优化技术 Impala的优缺点 Im ...
impala与hive的比较以及impala的有缺点
最近读的几篇关于impala的文章,这篇良心不错:https://www.biaodianfu.com/impala.html(本文截取部分内容) Impala是Cloudera公司主导开发的新型查询 ...
打怪升级之小白的大数据之旅(六十七)＜Hive旅程第八站:Hive的函数＞
打怪升级之小白的大数据之旅(六十七) Hive旅程第八站:Hive的函数上次回顾上一章,我们学习了如何对数据进行拆分–分区表与分桶表,使用分区表与分桶表,可以加快我们的查询效率..本章节是Hive ...

Impala 代替 hive COLLECT_SET函数的方式

Impala 代替 hive COLLECT_SET函数的方式相关推荐

最新文章

热门文章