项目需求：

根据会员在三个月里指标的平均值(有20个指标，在此以一个指标为例)，按照会员所在的县级市(city_id)和行业(category_id)分别进行排名，并依据排名等级和各个指标的权重分值计算分数。

分数计算规则：

过去3个月日平均值数据量最高的或者数值最高的排名为1

0≤该客户在该县级市该行业的排名/该县级市该行业总客户数＜20％：满分20％≤该客户在该县级市该行业的排名/该县级市该行业总客户数＜40％：满分×0.8

40％≤该客户在该县级市该行业的排名/该县级市该行业总客户数＜60％：满分×0.6

60％≤该客户在该县级市该行业的排名/该县级市该行业总客户数＜80％：满分×0.4

80％≤该客户在该县级市该行业的排名/该县级市该行业总客户数＜100％：满分×0.2数据为0，则分数为0

平均每条offer的点击反馈转化率权重分值为4.5分

优化之前的算法

直接根据指标的值，取它的平均值，sql如下：

SELECTl_date

,member_id

,category_id

,city_id

,decode(nvl(fb_per_pv,0),0,0,

round(decode(trunc(rank() over(PARTITIONBYcity_id,

category_idORDERBYfb_per_pvDESC) /

COUNT(*)

over(PARTITIONBYcity_id, category_id) *100/20),

0,1,1,0.8,2,0.6,3,0.4,4,0.2,5,0.2) *4.5,3))

FROM(SELECTmember_id

,city_id

,category_id

,AVG(nvl(fb_per_pv,0))ASfb_per_pv

FROMcndss.cn_loan_pre_act_sumdt0

WHEREyyyymmdd > l_date -90

GROUPBYmember_id, city_id, category_id

) t1

数据量为200w的时候，它要跑40分钟，数据量增长的时候，效率变得更差。

优化之后的算法I

我们计算平均值的算法改进：

用一个表存放三个月指标的总值，和用于计算这些指标平均值的统计天数，这样求均值就要快多了。

用于存放3个月指标值总值的指标表：

CREATETABLEcndss.cn_loan_pre_act_summt0(

yyyymmddDATENOTNULL,--TRUNC类型

member_idVARCHAR2(64)NOTNULL,--会员ID

gmt_createDATENOTNULL,--注册日期

total_daysNUMBERNOTNULL,--统计总天数

category_idNUMBER,--行业ID

city_idVARCHAR2(128),--城市ID

fb_per_pvNUMBER,--平均每条offer的点击反馈转化率

.....

)

PARTITIONBYRANGE(yyyymmdd)

(

PARTITIONP20090331VALUESLESSTHAN(TO_DATE('2009-04-01 00:00:00','YYYY-MM-DD HH24:MI:SS'))TABLESPACEtbs_cn_dss_2009

....

);

用于计算分数的sql:

SELECTl_date

,member_id

,category_id

,city_id

,decode(fb_per_pv,0,0,

round(decode(trunc(rank() over(PARTITIONBYcity_id,

category_idORDERBYfb_per_pvDESC) /

member_cnt *100/20),0,1,1,0.8,2,0.6,3,0.4,4,0.2,5,0.2) *4.5,3))

.....

FROM(SELECT/*+parallel(t,4)*/

member_id

,city_id

,category_id

,company_lib_flag

,winport_flag

,nvl(fb_per_pv,0) / total_daysASfb_per_pv

......

,COUNT(*) over(PARTITIONBYcity_id, category_id)ASmember_cnt

FROMcndss.cn_loan_pre_act_summt t

WHERE yyyymmdd = l_date

) t1;--获取平均值

我们碰到的效率问题：

每天用于统计的会员数是200w的时候，程序几分钟就跑完了，当会员数增长到450W的时候，就要几个小时，实在是让人无法忍受。而且，会员数还在不断地增加。

优化之后的算法II

新建一个临时用于统计数据基于city_id和category_id的hash临时表，把每天用于统计的会员数据插入到里面，再做统计。思路如下：

a)新建一个临时的基于city_id和category_id的hash表：

CREATETABLEcntmp.cn_loan_pre_act_tmpt1(

yyyymmddDATENOTNULL,--TRUNC类型

member_idVARCHAR2(64)NOTNULL,--会员ID

gmt_createDATENOTNULL,--注册日期

total_daysNUMBERNOTNULL,--统计总天数

category_idNUMBER,--行业ID

city_idVARCHAR2(128),--城市ID

fb_per_pvNUMBER,--平均每条offer的点击反馈转化率

……

)PARTITIONBYHASH(city_id,category_id)

(

partitiont_hash_p1tablespaceTBS_CN_TMP_00,

partitiont_hash_p2tablespaceTBS_CN_TMP_00,

partitiont_hash_p3tablespaceTBS_CN_TMP_00,

partitiont_hash_p4tablespaceTBS_CN_TMP_00,

partitiont_hash_p5tablespaceTBS_CN_TMP_00,

partitiont_hash_p6tablespaceTBS_CN_TMP_00,

partitiont_hash_p7tablespaceTBS_CN_TMP_00,

partitiont_hash_p8tablespaceTBS_CN_TMP_00,

partitiont_hash_p9tablespaceTBS_CN_TMP_00,

partitiont_hash_p10tablespaceTBS_CN_TMP_00,

partitiont_hash_p11tablespaceTBS_CN_TMP_00,

partitiont_hash_p12tablespaceTBS_CN_TMP_00,

partitiont_hash_p13tablespaceTBS_CN_TMP_00,

partitiont_hash_p14tablespaceTBS_CN_TMP_00,

partitiont_hash_p15tablespaceTBS_CN_TMP_00,

partitiont_hash_p16tablespaceTBS_CN_TMP_00

)NOLOGGING;

b)每次统计前清空数据：

TRUNCATETABLEcntmp.cn_loan_pre_act_tmpt1

c)倒入当天需要统计的数据：

INSERTINTOcntmp.cn_loan_pre_act_tmpt1

SELECT*FROMcndss.cn_loan_pre_act_summt0WHEREyyyymmdd = l_date;

COMMIT;

d)计算分值：

SELECTl_date

,member_id

,category_id

,city_id

,decode(fb_per_pv,0,0,

round(decode(trunc(rank() over(PARTITIONBYcity_id,

category_idORDERBYfb_per_pvDESC) /

member_cnt *100/20),0,1,1,0.8,2,0.6,3,0.4,4,0.2,5,0.2) *4.5,3))

.....

FROM(SELECT/*+parallel(t,4)*/

member_id

,city_id

,category_id

,company_lib_flag

,winport_flag

,nvl(fb_per_pv,0) / total_daysASfb_per_pv

.....

,COUNT(*) over(PARTITIONBYcity_id, category_id)ASmember_cnt

FROMcntmp.cn_loan_pre_act_tmpt1 t

) t1;--获取平均值

优化结果：

经过在正式环境测试，程序跑的时间缩短到25分钟左右，而且随着数据量的增加，每次跑的时间都差不多，效率得到了极大的提升。