数据分析-思维分析逻辑day05

一、行业分析

行业分析的两种背景

当前公司准备进入某行业，需要分析师或者战略部门给出一份详细报告
业务发展遇到瓶颈，需要分析师去验证当前对产品的需求有无变化

行业分析—问题的识别和拆解

分析的目的：界定范围、市场规模、社会热点事件、头部玩家、未来预测

举例：电商行业分析

背景：公司近期试水做电商业务，管理层知道很难做，但是决策层又想找一些切入点，这个时候就找战略部，希望给出一些建议
实际上一般需求比较模糊，因为在战略这件事上，确实很难

1、界定范围—在全局视野下找到切入点

找出完整的产业链图谱：供应商、传统业态、其他业态、支付、物流、入口，消费者

2、市场规模—交易额描述

交易额逐年上升，更加重要的是找到谁在增长，为何增长
当前增长率持续下降的情况下，还有谁逆势上升
数据分析又直接数据和简介数据两种支持方式，只要说明问题即可
所有资料都要注意口径和原始数据搜集，即使copy也要找权威的数据源
拼多多才是颠覆者，才代表一种趋势

3、市场规模—用户数描述

移动电商用户数占比36%，即使按照16~59周岁群体占比也只有55%
中国移动电商用户数趋势、中国人口年龄分布

4、市场规模—用户数分析

网民数占人口数57%，这个数字并没有想象的那么高，仍然有很多未来用户争（厂商）—结论2
移动互联网用户数占比98%—从用户这个角度，移动互联网已经完全替代pc
71%网络购物，短视频竟然是74%：猜测剩下的潜在用户（29%）在短视频里面—结论3

5、社会热点事件—拼多多

拼多多发展史

用户真没钱—离用户太远（查看人均可支配收入）
微信及微信支付重构了这些用户的社交方式
整个社会物流效率提升：为何商品很便宜

6、头部玩家—拼多多的产品分析

日常生活用户为主—高频
整个体验就很快，用户基本上就一直点“下一步”就行
搜索功能很轻，尽量让用户懒起来

7、头部玩家—运营分析

8、头部玩家—拼多多的用户分析

一二线占比超40%，不只是屌丝这么简单（还有人性），所以未来会出现更多的拼多多产品
老大老二大家，老三挂了
多、快、好、省：京东是物流快和好；淘宝天猫是多和好；拼多多是省和供应链快（沃尔玛）

二、数据仓库研究

大数据体系：高度要够、熟悉整个行业、专注某个模块

大数据体系：日志采集和传输、数据建模、数据管理、数据应用

数据研发工程师和数据分析师的关系

大公司：分工明确，分析师这个岗位有点“风险性”，研发工程师相对比较稳
小公司：全部都是研发工程师，分析师的活也干，所以看似什么都懂，但不会很专
即使作为研发工程师，也要懂业务，否则研发出来的产品真的没人用
即使作为分析师，也要懂研发，否则沟通效率、提数效率较低

APP日志采集中的埋点

前中期：数据分析师进入一家公司时，一定要参与到埋点讨论中，不要去把研发想的多专业，如果埋点出问题，会非常耽误业务的分析。很多研发就是纯粹凭感觉埋。这个过程中把埋点规范建立起来
后期：不要投入太多时间，知道有哪些新的埋点，文档化即可，后面所有的人都参照这个，包括规范好：
公参：这个是分析师来定，就是有些参数是所有行为日志一定要有的，日志名、业务模块、具体功能
也就是说：一定是分析师牵头，梳理自己的权威性，埋点是不是很繁琐，但非常重要，任何做分析的人都要找你，所以良好的发展需要这些软的东西

数据建模—为何要建模

痛点：
1）日志量太大，跑数很慢：一个简单的join都要半个小时才能出结果，而sql又非常容易出错的
结果：整个分析团队产出效率太低
2）日志太乱很多重要的数拿不出来：算近一个月新增用户的订单量，如果没有好的数据建模，根本跑不出来
结果：很多重要的思考点都无法落地，显得很不专业

数据建模—为何要建模

提高整体计算效率，减少重复开发
历史数据追踪，中间表数据可以存储一年
更好适应业务发展，修改影响范围较小
清晰数据结构，分析师更加容易理解

数据建模的主要步骤

日志传输–>ODS（原始日志）–>DWS（用户粒度聚合）–>DM（常规应用）

数据建模举例—头条

ODS：
用户基础属性表：imei,prov,city,machine
用户文章下发表：imei,article_id,xiafa_time
用户文章点击表：imei,article_id,dianji_time
文章属性表：article_id,category_id,title

DWS：用户粒度文章明细表
用户文章基础属性表：
imei,prov,city,machine,article_id,category_id,title,xiafa_pv,dianji_pv,xiafa_time,dianji_time
用户分类基础属性表：
imei,prov,city,machine,category_id,xiafa_pv,dianji_pv

DM：业务应用表
省市下发点击pv数：prov,city,xiafa_pv,dianji_pv
分类下发点击pv数：category_id,xiafa_pv,dianji_pv

感触：不要搞太复杂和太精细、让业务倒逼，先把最核心的数据快速弄出来

数据建模:分析师使用表时的注意项

不要过度相信研发的话：一定要自己动手试一次，比如用表计算一次日活
不要去做研发做的事：调度异常、表大小、配置错误、UDF函数，日志传输、这些东西非常耽误时间，对你做业务也没有好处，可以提醒但不动手
不要去等研发开发表：数仓对分析师而言最直接的好处就是快，而分析师的最终目的是有数据，所以目标不要搞错

数据管理

计算管理：join注意事项，表选择（尽量选小的表），MR内部原理
数据存储管理：核心的表尽量保存久一点（3个月以上），非核心的表1个月内即可
分析师要对表的存储周期有概念，很多时候都要去看历史数据
权限管理：分析师往往是管理员权限，所以不要随便给其他人开权限，采用最小可满足原则给权限就行，同时给读权限

总结

埋点的重要性：主动性和文档化
数据建模的三层次：快速迭代
数据的管理：权限管理

三、用户研究

什么是用户研究

用户研究是一种职业意识，任何人都应该具备用户研究思维，包括：
这个功能能满足用户什么需求：大部分APP都是抄来抄去，这就使没想清楚
用户当前反馈做多的问是什么：哪些可以重点解决
针对这两种问，需要进行线上或线下调研，获得数据反馈

什么时候做用户研究

用户研究是贯穿这个项目生命周期的
项目前期：用户需求情况、用户基础画像情况：用户对低价商品的迫切度
项目中期：用户行为习惯
项目后期：用户对产品的反馈点，竞品使用情况

所有的一切都是为了更好的去了解用户，与数据分析相辅相成：从数据角度有时并不能很好地反映用户行为及原因
用户研究在项目启动前就应该开展，要快于其他方，所以非常考验用研人员的先进性和实操性

举个例子

项目：今日头条新用户留存专项
项目背景：2015年今日头条APP新用户次留、7留与竞品相比，留存均低于5%绝对值，并且新用户流失速度要高于竞品，因此要在数据分析基础上，产品运营优化，提升用户留存5%绝对值

数据分析师—3个阶段

1、第一阶段：新用户整体留存分析

目的：摸清数据现状，同时找到诺干切入点
关键点：不要太注重细节，该过程讲究报告产出的时效性，让其他人员感受到分析师的存在

2、第二阶段：寻找优化切入点，一般是1-2个

如：1、关键路径数据发现曝光pv到点击pv的CTR很低，这个时候就很有意思了，围绕这个点，细致分析：对于新用户，应该曝光什么，在什么时候，什么位置曝光等等
2、某个量大的二级渠道次留明显低于其他渠道，围绕这个，进一步分析：
对于该渠道，用户的留存过低是因为：本身渠道存在质量问题？用户已经安装竞品？当前产品设计与渠道用户不太匹配？同时高留存的渠道本身特征是什么？
通过1-2，就已经能给产品运营不少建议了，配合AB测试，就能看到数据分析效果

3、第三阶段：

不断重复前面两个阶段，继续寻找其他切入点
通过进行竞品分析、营销活动分析、用户流失分析等等
除了寻找本身产品的切入点，还要跳出当前的项目思维，进行竞品分析、活动分析等
整个过程就是在不断地试错，每一次分析报告都要又能落地的点，并且真的落地了，这就是闭环，这也是优秀分析师的一个评判标准

用户研究的三个阶段实施

1、指定研究目的

新用户留存：用户基础特征（用户年龄地域）、用户需求和痛点（新闻预期和当前问题）、竞品情况（有没有使用其他竞品）

2、确定研究方法

用户访谈、调查问卷
定性：面聊侧重于why和how，问的很细很深
定量：投放问卷，侧重what、when、where

3、结论产出

能够和分析师的数据分析报告一起输出，定量定性结合
能够在最迫切的时候给出，价值最大化
能够很好的融入到整个团队，做的事情真的有意义

4、注意点

用户说什恶魔不重要，更加重要的是用户为何这么说
不要直接问用户喜欢什么，用户对他们的心理过程根本不了解：田野工作法是最好的
定性分析注重用户分类，定量分析注重样本量和样本代表性
结束访谈后，尽快整理成文档，寻找琐碎记忆
用户报告追求精而快

5、用户研究的未来

短期：用户研究+MVP（不需要系统化，解决问题即可）
长期：人人都是用户研究分析师

6、用户研究和分析师的关系

数据分析师一定要有用户研究的意识，最常见的做法是：

每天体验产品
每周看客服数据
对于费解的数据分析结论，推动用户研究人员去做用户访谈和问卷
新项目启动期，如果要去线下了解用户，分析师要抓住这些机会