group by后乱序问题原因和解决

1.解决方案

先说一下解决的办法

1.1 放到集合内排序

SELECT  uid,regexp_replace(concat_ws(',',sort_array(collect_list(concat_ws(':',lpad(CAST(rn AS STRING),3,'0'),page_id)))),'\\d+\:','')
FROM    tmp_t
WHERE   uid IS NOT NULL
GROUP BY uid
;

1.2 在分组内排序后在分组求和

SELECT  uid,collect_list(page_id) AS page_id
FROM    (SELECT  *,ROW_NUMBER() OVER (PARTITION BY uid ORDER BY rn) AS rankFROM    tmp_tWHERE   uid IS NOT NULL)
GROUP BY uid
;

2.问题经历和原因

求用户的访问轨迹以特殊分隔符隔开(已经有数仓表记录用户访问顺序)

SELECT  uid,collect_list(page_id) AS visit_track
FROM    tmp_t
;

我以为这时已经排好序的表，是直接按照接过排序，可是我发现这个顺序根本对不上

一开始我想过是因为 collect_list 的原因，但是'解决方案里在分组内排序后在分组求和'就是正常的

而且由此可以知道原因还是 group by 的问题，它导致了我已经排序好插入表里的数据分组后取值时顺序变了

数据量大我是可以理解的，要分组打散，但是数据量小的时候在spark跑时有序的，在odps上就无序了

3.用到的表和数据

## 模仿一下数仓用户访问顺序表
CREATE TABLE IF NOT EXISTS tmp_t
(uid        STRING,page_id    STRING,rn BIGINT
) ;insert overwrite table tmp_t values
('1422','4888','1'),
('1422','4883','2'),
('1422','4881','3'),
('1057','3305','1'),
('1057','3342','2'),
('1057','3261','3'),
('1057','3262','4'),
('1057','3316','5'),
('1057','3467','6'),
('1057','4882','7'),
('1057','3265','8'),
('1057','3422','9'),
('1061','3461','1'),
('1061','3100','2'),
('1085','1952','1'),
('1097','3177','1'),
('1097','3246','2'),
('1097','3080','3'),
('1097','3321','4'),
('1097','3370','5'),
('1097','4634','6'),
('1097','3471','7'),
('1097','3079','8'),
('1097','3076','9'),
('1151','3048','1'),
('1151','3232','2'),
('1151','3457','3'),
('1151','3307','4'),
('1153','4939','1'),
('1153','4934','2'),
('1153','4938','3'),
('1153','4543','4'),
('1153','4942','5'),
('1153','4460','6'),
('1153','5107','7'),
('1083','3439','1'),
('1093','4927','1'),
('1093','3278','2'),
('1059','3365','1'),
('1059','3371','2'),
('1059','3182','3'),
('1059','3092','4'),
('1059','3089','5'),
('1059','3377','6'),
('1059','3348','7'),
('1059','4323','8'),
('1059','3395','9'),
('1079','4276','1'),
('1067','4261','1'),
('1117','4901','1'),
('1117','5120','2'),
('1117','5109','3'),
('1117','5108','4'),
('1117','4840','5'),
('1117','4923','6'),
('1117','4703','7'),
('1117','4922','8'),
('1117','4920','9'),
('1065','4243','1'),
('1065','4631','2'),
('1155','3052','1'),
('1155','3053','2'),
('1155','3413','3'),
('1155','3055','4'),
('1155','3056','5'),
('1155','3176','6'),
('1155','3054','7'),
('1155','3406','8'),
('1155','4281','9'),
('1147','3456','1'),
('1149','3299','1'),
('1149','3470','2'),
('1149','3315','3'),
('1149','3292','4'),
('1149','3268','5'),
('1149','3057','6'),
('1149','3060','7'),
('1149','3181','8'),
('1149','3405','9'),
('1145','3303','1'),
('1099','3131','1');

group by后乱序问题原因和解决相关推荐

pandas使用cut函数基于分位数进行连续值分箱（手动计算分位数）处理后出现NaN值原因及解决
pandas使用cut函数基于分位数进行连续值分箱(手动计算分位数)处理后出现NaN值原因及解决目录 pandas使用cut函数基于分位数进行连续值分箱(手动计算分位数)处理后出现NaN值原因及解决 ...
系统重装后没有睡眠选项原因及解决方法
系统重装后没有睡眠选项原因及解决方法给笔记本电脑重装了windows10专业版系统,安装完后,发现电源选项没有睡眠按钮 1.分析电脑安装完系统后,还没有下载和安装一些补丁和更新,导致问题的出现 2 ...
gdc服务器开机后显示器无法显示,开机后显示器没反应怎么办？开机后显示器没反应原因及解决方法...
现在使用电脑的人很多,几乎每家每户都有台式电脑或者手提电脑.有时候我们开机之后显示器没有反应.这时候要怎么办?电脑开始之后显示器没反应很可能是内存卡和内存条之间的连接除了问题,并不是什么很严重的问 ...
PDF转成Word或PPT后不能修改的原因和解决方法
现在很多文档都是用PDF格式,虽然查看比较方便,但编辑起来相对麻烦,所以我们经常会将PDF转换成Word或者PPT后再修改,但是有时候无论转成Word或PPT都还是不能修改是怎么回事呢?要怎么解决呢? ...
理光打印机连接电脑后不打印的原因及解决方法
理光打印机在使用时,可能会出现正常连接上理光打印机却没有反应的情况,出现无法打印的情况,下面,驱动人生为大家带来理光打印机连接后不打印的解决方案. 驱动人生分析,一般遇到理光打印机连接后不打印的情况, ...
电脑Hosts文件修改后无法保存的原因及解决方法教程
Hosts文件是系统中的重要文件,它能屏蔽网站.帮助计算机加速域名解析.方便用户使用等,具有很多实用功能.最近有许多用户们人在向小编咨询过Hosts文件的保存问题,在Hosts文件修改之后,发现无法保 ...
jdbc显示mysql的数据_JDBC链接mysql插入数据后显示问号的原因及解决办法
1.在cmd中进入mysql查看默认的编码格式: mysql> show variables like "%char%"; 若不是utf8(因为我用的是utf8),关掉mys ...
安装ssd后不识别网卡_翻车了？安装固态硬盘后不识别的原因和解决方法
怀着激动的心情将刚刚到手的固态硬盘装进电脑,结果开机后却找不到新装的硬盘?翻车怎会如此快?其实很多固态硬盘不识别.不认盘都是假故障.快速引导菜单不认盘?我的电脑中没盘符?存储极客就以东芝RC100 N ...
【笔记】损失函数计算后返回 nan 的原因以及解决办法：logX，X为负数或0将会计算得到nan，规定X范围，可以避免nan的出现
https://www.jianshu.com/p/ffd3e63f39ef

group by后乱序问题原因和解决

group by后乱序问题原因和解决

1.解决方案

1.1 放到集合内排序

1.2 在分组内排序后在分组求和

2.问题经历和原因

3.用到的表和数据

group by后乱序问题原因和解决相关推荐

最新文章

热门文章