背景

假设有一个学生各门课的成绩的表单，应用hive取出每科成绩前100名的学生成绩。

这个就是典型在分组取Top N的需求。

解决思路

对于取出每科成绩前100名的学生成绩，针对学生成绩表，根据学科，成绩做order

by排序,然后对排序后的成绩，执行自定义函数row_number(),必须带一个或者多个列参数，如ROW_NUMBER(col1,

....)，它的作用是按指定的列进行分组生成行序列。在ROW_NUMBER(a,b)

时，若两条记录的a，b列相同，则行序列+1，否则重新计数。

只要返回row_number()返回值小于100的的成绩记录，就可以返回每个单科成绩前一百的学生

Sql代码  

create table score_table (

subject string,

student string,

score int

)

partitioned by (date string);

如果要查询2012年每科成绩前100的学生成绩，sql如下

Java代码  

create temporary function row_number as 'com.blue.hive.udf.RowNumber';

select subject,score,student from

(select subject,score,student from score where dt='2012' order by subject,socre desc) order_score

where row_number(subject) <= 100;

com.blue.hive.udf.RowNumber是自定义函数，函数的作用是按指定的列进行分组生成行序列。这里根据每个科目的所有成绩，生成序列，序列值从1开始自增。

执行row_number函数，返回值如下

科目 成绩 学生 row_number

物理 100 张一 1

物理 90 张二 2

物理 80 张三 3

.....

数学 100 李一 1

数学 90 李二 2

数学 80 李三 3

....

row_number的源码

函数row_number(),必须带一个或者多个列参数，如ROW_NUMBER(col1,

....)，它的作用是按指定的列进行分组生成行序列。在ROW_NUMBER(a,b)

时，若两条记录的a，b列相同，则行序列+1，否则重新计数。

package com.blue.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

public class RowNumber extends UDF {

private static int MAX_VALUE = 50;

private static String comparedColumn[] = new String[MAX_VALUE];

private static int rowNum = 1;

public int evaluate(Object... args) {

String columnValue[] = new String[args.length];

for (int i = 0; i < args.length; i++) 『

columnValue[i] = args[i].toString();

}

if (rowNum == 1) {

for (int i = 0; i < columnValue.length; i++)

comparedColumn[i] = columnValue[i];

}

for (int i = 0; i < columnValue.length; i++) {

if (!comparedColumn[i].equals(columnValue[i])) {

for (int j = 0; j < columnValue.length; j++) {

comparedColumn[j] = columnValue[j];

}

rowNum = 1;

return rowNum++;

}

}

return rowNum++;

}

}

编译后，打包成一个jar包，如/usr/local/hive/udf/blueudf.jar

然后在hive shell下使用，如下:

add jar /usr/local/hive/udf/blueudf.jar;

create temporary function row_number as 'com.blue.hive.udf.RowNumber';

select subject,score,student from

(select subject,score,student from score where dt='2012' order by subject,socre desc) order_score

where row_number(subject) <= 100;

同样，这个函数可以用作去重操作。

可以替代大批量数据的DISTINCT

通过执行如：

select * from(

select type,value,row_number() as rn

from

log_table distribute by type,value

sort by type,value

)

where rn = 1;

===============注意！============================

但是使用row_number()函数需要注意一点，必须使用sort

by。

测试的时候必须使用order by。

row_number()函数会假设数据有序的基础上进行的。