HIVE SQL分位数percentile使用方法案例

percentile：percentile(col, p) col是要计算的列（值必须为int类型），p的取值为0-1，若为0.2，那么就是2分位数，依次类推。percentile_approx：percentile_approx(col, p)。列为数值类型都可以。percentile_approx还有一种形式percentile_approx(col, p，B)，参数B控制内存消耗的近似精度，B越大，结果的精度越高。默认值为10000。当col字段中的distinct值的个数小于B时，结果就为准确的百分位数。

有一组年龄数据，其中有几位老人和小孩子，剔除这些异常的数据，然后算一个有影响力的平均值。


select avg(age) as avg_age,avg(casewhen age < high_ageand age > low_age then ageend) as handle_avg_age
from(select name,age,percentile_approx(age, 0.9) over(partition by 1) as high_age,percentile_approx(age, 0.2) over(partition by 1) as low_agefrom(select 'a' as name,68 as ageunion allselect 'b' as name,73 as ageunion allselect 'c' as name,20 as ageunion allselect 'd' as name,21 as ageunion allselect 'e' as name,23 as ageunion allselect 'f' as name,24 as ageunion allselect 'g' as name,21 as ageunion allselect 'h' as name,20 as ageunion allselect 'i' as name,8 as ageunion allselect 'g' as name,9 as age) a) a

结果

avg_age  handle_avg_age
28.7    21.5

HIVE SQL分位数percentile使用方法案例相关推荐

记录hive sql报错，return code1和return code2解决方法
执行hive sql语句的时候非常容易出现return code 1.return code 2.return code 3的情况,我就遇到了很多次,code3在某次意外中得以解决但是引发了code ...
oracle 最大值及其_学习笔记:Oracle优化 SQL查询最大值最小值时的优化方法案例...
天萃荷净 select max(id),min(id) from table优化,分享开发DBA需求,在SQL语句查询最大值.最小值数据时的优化方式案例 1.查看数据库版本 SQL> selec ...
【数据分析师求职面试指南】必备编程技能整理之Hive SQL必备用法
文章目录熟悉Python 懂R语言掌握SQL 大数据基础数据库常用类型多表查询更多聚合函数 distinct case when 窗口函数动态更新一行变多行调优内容整理自<拿 ...
hive sql 报错后继续执行_Hive优化之Spark执行引擎参数调优（二）
Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点,因此掌握一些Hive调优是必不可少的一项技能.影响Hive效率的主要有数据 ...
图解大数据 | Hive搭建与应用@实操案例
作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/84 本文地址:http://www.showmeai.tech/article-det ...
HIVE SQL tricks
HIVE SQL拒绝big int比较解决方法在实际业务中,为了排查问题,有时候需要查看指定uid,shop_id的记录.往往这种id字段都是bigint类型数据,直接where uid = XXX ...
【文末有惊喜！】Hive SQL血缘关系解析与应用
本文字数:7860字预计阅读时间:20分钟 + 1 研究背景随着企业信息化和业务的发展,数据资产日益庞大,数据仓库构建越来越复杂,在数仓构建的过程中,常遇到数据溯源困难,数据模型修改导致业务分析困 ...
Hadoop Hive sql 语法详细解释
Hive 是基于Hadoop 构建的一套数据仓库分析系统.它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,能够将结构化的数据文件映射为一张数据库表,并提供完整的SQL查 ...
python调用spark和调用hive_Spark(Hive) SQL数据类型使用详解(Python)
Spark SQL使用时需要有若干"表"的存在,这些"表"可以来自于Hive,也可以来自"临时表".如果"表"来自于Hi ...

HIVE SQL分位数percentile使用方法案例

HIVE SQL分位数percentile使用方法案例相关推荐

最新文章

热门文章