用 SQL 分析不同用户群组留存率

一、前言

用户增长对企业非常重要，主要包括：新增、留存、召回。留存率就是用户在某段时间内，开始使用某网站或APP，经过一段时间后仍然继续使用，这类群体就认为是留存用户，留存用户的占比即为留存率。N日留存率=N日留存用户数/新增用户数*100%，反应了网站或APP的质量和保留用户的能力。

本文介绍一个实用的分析留存率的方法： Cohort Analysis （群组分析）。就是利用用户分层&用户建模的方法，将新增用户分成一个一个小组，可以按照获客日期来分，或者按照获客渠道来分，或者按照特定用户行为来分。APP的下载量越高并不是说产品就越好，产品若没有很好的留存，花费大量时间和资源来挖掘新客户也将是竹篮打水一场空。群组分析有利于衡量用户在每个漏斗的用户流失节点、用户流失数据，从而帮助你发现产品的用户的行为模式和用户增长点。从本质上讲，群组分析Cohort Analysis为你提供了一种数据驱动的方法，用群组分析Cohort Analysis方法，可以来帮助提高用户留存率。

二、数据介绍

数据来自某网站2009年至2010年的用户登录数据（activity.csv）和用户的注册信息（user.csv）。
为了方便计算我做了修改，部分数据表预览如下：（特殊说明：数据已脱敏）

1、User表用户的注册信息
列UID代表用户的唯一标志（账户），
列JOINDATE代表用户的注册日期。

2、Activity表用户登录数据
列ACTION_ID代表每个用户每一次登录的标志，
列DAY代表用户登录的日期。

三、留存分析

1、计算在t1时刻处于活动状态的用户，然后计算在t2时刻留存的用户数

在SQL中可以用selfjoin方法，以次日留存为例：

select * from activity
left join activity as future_info
on  activity.UID = future_info.UID
and activity.DAY= subdate(future_info.DAY,1);

Join之后的表格每一行都包含了t1和t2时刻的登录情况，t2没有留存则为null。

2、以次日留存为例，计算去重后的活跃用户数、留存用户数、留存率

根据以上join之后的表格计算：

selectactivity.DAY, count(distinct activity.UID) as active_user, # 某日活跃用户，去重count(distinct future_info.UID) as retained_user,  # 次日留存用户，去重round(count(distinct future_info.UID)/count(distinct activity.UID),2) as retention_rate #留存率
from activity
left join  activity as future_info
on activity.UID = future_info.UID
and activity.DAY=subdate(future_info.DAY,1)     # 指定留存周期，这里是次日留存所以取相差一天的活动
group by activity.DAY
order by activity.DAY
limit 10;

3、新、老用户留存率计算

3.1、新用户的留存，只需要在上述代码中加入条件限制活动的日期，以次日留存为例：

selectactivity.DAY,count(distinct activity.UID) as active_user,count(distinct future_info.UID) as retained_user,count(distinct future_info.UID)/count(distinct activity.UID) as retention_rate
from activity
left join user on activity.UID=user.UID and activity.DAY = user.JOINDATE           # 限制活动日期
left join activity as future_info on activity.UID=future_info.UID and activity.DAY=subdate(future_info.DAY,1)
group by activity.DAY
order by activity.DAY
limit 10;

3.2、老用户留存：
将上述代码的条件改为 user.JOINDATE != activity.DAY，即可得到结果。

四、群组分析Cohort Analysis

一个网站或App，在某个连续的4周里陆续更新或新增了一个功能或设计，想要知道这些功能和设计上的改动对用户的影响，就可以将每周的新注册作为一个群组，观察这4个用户群组在接下来10天里的行为数据，就可以很清楚地观察到新增功能的影响。对于不同用户群组的留存率计算，需要对用户进行分组，先维度分，再粒度分。维度：可以是新增用户的渠道；粒度：新增用户是来源产品，还是来源具体网址，这属于粒度上的差异。将对比的差异值逐级锁定，寻找数据表象差异背后的原因，来找到用户增长点。对于用户的留存分析有两个比较常用的的分组方向：从用户的获取角度分组，从用户的行为角度分组。

1、从用户行为角度分组
网页浏览器、APP 不单单是解决用户访问的需求，用户流失可能是对产品不同功能模块体验上的不满结果。每日活跃的模块用户留存率自然很高，如果不同用户群组分析中，发现使用过某个功能的用户在之后的时间中留存情况很差，那就需要对这个功能进行优化了。

2、从用户获取的角度分组
（1）按 新增用户的渠道 对用户进行分组，来源产品，还是来源具体网址。
分析不同渠道的用户后续的留存情况，判定不同渠道表现的优劣情况，好的渠道可以加大促销或者广告投入，差的渠道可以淘汰不用。
（2）按 首次购买时间 对用户进行分组，粒度可选日、周、月、季度等。
各个时间段获取的客户在留存率表现上是否有差异，对流失的用户做用户画像分析，并在流失率高的时间段进行干预。

Step 1
–New_user_activity 将用户活动限制为新用户
–cohort_active_user_count 计算每个每日群组中活跃用户的总数（留存率计算中的分母）

create table New_user_activity
select activity.* from activity
left join user on activity.DAY=user.JOINDATE

create table cohort_active_user_count       # 每个每日群组中活跃用户的总数
select DAY, count(distinct UID) as count
from new_user_activity
group by DAY

Step 2
留存期（period）: future_activity.DAY - new_user_activity.DAY
每日新增用户作为一个群组，我们可以清楚的计算每个群组接下来的10天内的留存率变化：

select
DAY, period, new_users, retained_users, retention
from (select  new_user_activity.DAY,(future_activity.DAY-new_user_activity.DAY) as period,max(cohort_size.count) as new_users,count(distinct future_activity.UID) as retained_users,count(distinct future_activity.UID)/max(cohort_size.count) as retentionfrom new_user_activityleft join  activity as future_activityon new_user_activity.UID=future_activity.UIDand  new_user_activity.DAY < future_activity.DAYand  new_user_activity.DAY >= subdate(future_activity.DAY,10)left join  cohort_active_user_count as cohort_sizeon new_user_activity.DAY=cohort_size.DAYgroup by  1,2
) tmp
where period is not null
order by DAY, period;

Step 3
为了便于观察，我们将period转化为列

select  DAY, new_users,ifnull(max(case when period = 1 then retention end),0) DAY01,ifnull(max(case when period = 2 then retention end),0) DAY02,ifnull(max(case when period = 3 then retention end),0) DAY03,ifnull(max(case when period = 4 then retention end),0) DAY04,ifnull(max(case when period = 5 then retention end),0) DAY05,ifnull(max(case when period = 6 then retention end),0) DAY06,ifnull(max(case when period = 7 then retention end),0) DAY07,ifnull(max(case when period = 8 then retention end),0) DAY08,ifnull(max(case when period = 9 then retention end),0) DAY09,ifnull(max(case when period = 10 then retention end),0) DAY10
from (select  new_user_activity.DAY,(future_activity.DAY-new_user_activity.DAY) as period,max(cohort_size.count) as new_users,count(distinct future_activity.UID) as retained_users,count(distinct future_activity.UID)/max(cohort_size.count) as retentionfrom new_user_activityleft join  activity as future_activityon  new_user_activity.UID=future_activity.UIDand  new_user_activity.DAY<future_activity.DAYand  new_user_activity.DAY>=subdate(future_activity.DAY,10)left join  cohort_active_user_count as cohort_sizeon   new_user_activity.DAY=cohort_size.DAYgroup by  1,2
) tmp
where period is not null
group by DAY,
order by DAY;

每日新增维度细分的Cohort Analysis 表格：

Step 4
用 power BI 连接 mysql，选择2009.1.11 - 2009.1.20的数据制作留存曲线图，分析比较不同用户群组留存差异。

本例中前面的首日新增用户数留存率普遍偏高，在2009年1月11日 - 2009年1月20日是用户留存率下跌最严重的时间段，不同用户群组的留存率呈现同一种整体呈逐日递减趋势，需要对该用户流失率较高的时间段进行干预。

五、小结

用户增长的主线：获取（Acquisition）、激活（Activation）、留存（Retention）、变现（Revenue）、推荐（Referral），也就是AARRR模型。新用户的留存，在AARRR模型里，就是「激活」这一步。提升新增用户的留存率关键在多个指标的设定，可以定为三个：新增用户量、次日留存、获客成本，多个指标的设定可以相互约束和牵制。

提升新增用户的留存率方法有四步，分别是：用户运营的精细化、产品流程优化、活动激励、提供优质的服务。
第一步：将获客渠道精细化，针对不同的渠道做针对性的用户运营，同时也可以做渠道的筛选，来获取优质流量。
第二步：将获取的流量，更高效的转化到关键行为的使用。就需要做产品流程的优化，提升转化率。
第三步：为了提升每一步转化率，还可以通过活动的激励，引导用户转化。
第四步：产品要提供最优质的服务。只有用户满意，才会有后续的留存。