数据工作本质：从业务中来，到业务中去
引言：数据工作就组成结构和流程来说还是比较简单的，因为这个工作本来就很年轻，分工还没有很细。总体来讲，我把数据工作看成相互连接的三部分：取数、理数、用数，这是一个闭环。用数的需求会驱动取数工作，并对取数工作提出具体操作性要求。
《数源思维》一书正是以此本质为核心内容，提出了一套简便实用的方法来实现对数据工作价值的把控。
取数
取数工作解决的是数据源的问题，具体来讲是由下面的一系列工作组成：
[1]设计并实现产品中取数的方法和规则
[2]产品运行过程中，实时的或周期性的从产品端获取数据。
[3]传输、接收、校验数据
[4]格式化归档存储数据。
经过取数工作后，就形成了由业务运行产生的原始数据。原始数据是极其丰富的，有很多种分类方法，而从用户的观点来看可以大致分为两种。一种是用户意识到的主动提供的，如注册数据，发表的文字等；另一种是用户不容易意识到的被动提供的，如上网IP地址，操作动作（像PC上的鼠标移动，手机上的滑动）。
之所以用这个数据工作者不常用的维度来分类原始数据是想提醒产品经理在产品设计时也需要一点数据思维。能采用第二种方式得到数据，就不用第一种方式去麻烦用户。
理数
整理数据。这一步并不是必须的，尤其对初创企业来说，直接用原始数据是更经常的事。一方面因为初创时期的业务重点还不在于数据问题，另一方面也因为一些原始数据是结构化的，直接入数据库的，已经能用，比如用户注册数据。但随着数据的丰富和业务重点的变化，理数就变得越来越重要，因为大部分原始数据是无法直接用于分析和再产品化的，比如IP地址，比如文字。
理数标志性的工作就是对原始数据进行多层抽取、归纳、抽象的数据仓库建设。如果说取数是从用户中来，用数是到业务中去，那理数就是两者的桥梁，是将来自用户的数据原料转换为可供研究、分析或形成数据产品使用的数据零部件、半成品。这其中就会涉及数据挖掘工作。比如上面提到的IP地址，其本身并不能被直接使用，所以一般就会根据一个IP地址数据库将IP转换为地区名称。这就是将一个原始技术数据转为一个有意义的业务信息。
理数阶段的数据挖掘与用数阶段的数据挖掘并没有严格的区分，一般认为这个阶段的主要任务是将需求更普遍，应用更广泛的信息从原始数据中挖掘出来以减轻后面用数的工作量。比如像用户性别、年龄等基本属性的挖掘。尽管大部分互联网产品都会让用户填写这些字段，但用户填的叫原始数据。如果你直接使用原始数据，看上去是跳过了理数工作，但实际你是启用了一个理数的规则或模型，只不过输入和输出是一样的。这个模型的开发和应用成本为0，但机会成本是多少就要自己判断了。
当数据库、数据仓库准备好了零部件、半成品后，数据工作就要进入最眼花缭乱的用数阶段了。
用数
使用数据有2个方向，一是为企业内部工作提供决策支持，二是直接为用户提供独立数据产品或数据支持下的产品新功能。
说到决策支持可能最先想到的是BI。狭义的传统BI主要使用企业运行产生的内部数据，然后做些表单，柱状、条形、折线等各式样的图，比较无聊的。现代互联网化的决策支持，因为数据源的不同而变得有趣的多得多。
比如我们曾经给公司人力资源部的招聘提供过一个产品，就是根据招聘要求利用微博数据精准寻找候选人。当然找人只是第一步，评估人才能力，行为习惯，行业薪资水平等等数据工作都能发挥作用。甚至可以收集多方数据来做员工流失预警。所以互联网数据基础上的决策支持是可以支持到企业方方面面的工作，比如在互联网公司中，决策支持类的数据应用就会有：
1. 产品优化决策
产品经理最主要的工作就是抓到用户需求点，然后设计出产品/服务来满足它。虽然说需求点的发现往往是经验性的定性的工作，但数据工作依然可以在两方面给予优化决策：
一是，给出市场中主流用户或某一分类用户的总体偏好和习惯，帮助产品经理加深对用户的理解。比如哪类用户在什么场景下喜欢听音频，在什么场景下喜欢看文字，在什么场景下打开视频的可能更高等等。这对于产品经理选择用户群的需求切入点至关重要。
二是，评估可能的市场规模和增长曲线。
新产品或新功能上线后，产品经理需要数据反馈来判断用户对自己设计的接受度。尽管PV、DAU等总体性指标是能反应用户对新产品/功能的态度，但因为是总体性的指标，它们的变化包含了太多的因素，比如推广力度、运营活动等等。所以要更精确的看产品，一般更好的选择是回访率、使用时长、频次、退出/跳出、转化等用户个体性指标的变化来衡量用户反馈。
除了事后的监测，有时还会使用AB测试来检验不同设计的效果，以便提前获知用户偏好，降低新产品/功能的市场风险。这里就会涉及到与取数工作的配合，AB测试进行部署时要根据需要选择一定条件的两组类似用户推送测试内容，在用户不知情的情况下看实际效果。
2. 运营支持
互联网产品的运营工作主要包括用户运营、内容运营、活动运营和客户服务。在每一块上数据工作都能给予基础性的支持。
比如用户促活当中有一个重要工作就是防流失。这里就会碰到一个流失判断标准的问题。多长时间不来算流失？这个课题研究的关注点实际不是流失的那群用户，因为你从他们身上是取不出流失时点信息的，我们的关注点在那些很长时间没有来，但最终在自然状态（注：没有召回和活动影响）下又回来的非流失用户。从这群用户身上我们才能发现一个用户最多经历多长时间的沉寂后还有可能回来了，反过来长于这个时间就可以判断流失。在实际研究中，你会发现有用户在半年甚至更长时间后还会回来，这些从经验上来说肯定不是自然状态下回流的。于是判断是否自然状态又成为新问题，解决这个问题的一个数据来源是访问来源。
当然算出流失标准时间界限对防流失来说并没有什么直接的作用，这个标准实际的用途是筛出流失研究样本，通过样本数据来得出流失预警模型，通过用户还活跃时的行为变化来预测他们流失的概率，进而提供给用户运营来做下一步工作的决策。
3. 市场推广反作弊
反作弊与作弊是一个工作对，基本上是处在道高一尺魔高一丈不断相互学习相互克制的状态中。所以随着作弊方法的不断更新，反作弊和识别虚假用户的方法也累计了很多种。大部分的方法都是基于人工或机器学习经验建立起的判别模型。这些方法判别效率高，实施成本低，使用广泛，但也有致命缺点。因为这些方法都属于有监督的方式，形成的经验来自历史数据，如果渠道作弊方法不变，这些反作弊识别手段就会保持较高的有效性。但问题是当你识别渠道作弊并且拒绝为其付费时，渠道立刻就知道你存在针对当前作弊方法的识别手段，他们就会进行作弊升级。同时他们还会要求你拿出他们作弊的证据，如果你告之了他们，就意味着你透露了识别方法，他们就能更容易的绕过你原有的反作弊方法，实现魔高一丈。最后你必须要想出无监督的方法来实现反作弊。
此外，销售、人力、战略决策等等都会是数据应用的舞台。
而除了作为配角的决策支持外，数据应用也有当主角的时候。比如百度搜索风云榜，微博热词等等数据产品。还有更常见的是在数据工作的直接支持下呈现给用户的“猜你喜欢”“相关商品”这些数据类产品。
从上面对数据工作的介绍中不知你是否体会到了数据工作“从业务中来，回业务中去”的本质或者说根本存在价值。如果你不是一个仅满足于完成数据内部技术处理工作的从业者，那你必须要对这个本质有清晰的认识。
《数源思维》一书将会是很好的选择，点此链接可在博文视点官网查看此书。
想及时获得更多精彩文章，可在微信中搜索“博文视点”或者扫描下方二维码并关注。
数据工作本质：从业务中来，到业务中去相关推荐
- CDN工作原理及其在淘宝图片业务中的应用
淘宝的图片访问,有98%的流量都走了CDN缓存,只有2%会回源到源站,节省了大量的服务器资源. 但是,如果在用户访问高峰期,图片内容大批量发生变化,大量用户的访问就会穿透cdn,对源站造成巨大的压力. ...
- 【数据说第十二期】如何在留存数据中，找到业务的提升点？
[写在前面] 上一期梳理交流了如何通过分析"活跃数据",能针对不同用户制定不同的营销.推送等增长策略,实现用户分层管理,不断的优化业务增长策略 !([数据说第十一期]如何分析&q ...
- 大数据架构和模式（五）：利用大数据识别保险行业中的欺诈业务案例
大数据架构和模式(五):利用大数据识别保险行业中的欺诈业务案例 [复制链接] pig2 1232 主题 2069 帖子 1万 积分 超级版主 积分 11358 收听TA 发消息 电梯直达 楼主 ...
- 数据表创建它的实体类和业务类_通过库存核算，看低代码如何实现企业级应用中的核心业务逻辑...
2020年,随着低代码概念日趋火热,越来越多的产品冠以"低代码"的名义推向企业信息化市场.这些产品"乱花渐欲迷人眼",在产品功能.应用场景上存在较大差异,不由得 ...
- 业务中台管理系统、业务中台架构、接口类服务、模型类服务、界面类服务、组件类服务、服务架构、中后台、服务审核、AI服务、位置服务、行业场景服务、企业中台、接口配置、模型配置、数据处理、结构化数据、数据源
业务中台管理系统.业务中台架构.接口类服务.模型类服务.界面类服务.组件类服务.服务架构.中后台.服务审核.AI服务.位置服务.行业场景服务.企业中台.接口配置.模型配置.数据处理.结构化数据.数据源 ...
- 如何用递归处理一个数组中的数据成为一个树结构_Spark处理的一些业务场景（持续更新ing）...
Sparksql在处理一些具体的业务场景的时候,可以通过算子操作,或者RDD之间的转换来完成负责业务的数据处理,在日常做需求的时候,整理出来一下几个经典的业务场景的解决方案,供大家参考. 1.取商家任 ...
- 利用查询条件对象，在Asp.net Web API中实现对业务数据的分页查询处理
在Asp.net Web API中,对业务数据的分页查询处理是一个非常常见的接口,我们需要在查询条件对象中,定义好相应业务的查询参数,排序信息,请求记录数和每页大小信息等内容,根据这些查询信息,我们在 ...
- 像数据科学家一样思考：12步指南（中）
像数据科学家一样思考:12步指南(上)<像数据科学家一样思考> 7-工程产品 下一步是建立统计软件.如果统计是分析和从数据中得出结论的框架,那么软件就是将这个框架付诸行动的工具.数据科学家 ...
- PLSQL如何将千万数据快速插入到另一张表中_数据库设计中的 9 大常见错误
作为数据库设计人员,当我们负责数据库项目时,在数据库设计以及把数据库部署到生产环境的过程中可能会遇到一些挑战. 其中一些问题不可避免,也无法控制.但是,其中相当一部分可以追溯到数据库设计本身的质量.我 ...
- 干货 | 数据思维在携程商旅页面性能优化中的一次实践
作者简介 Graviton,携程研发总监,专注数据思维驱动团队效能与技术发展. 本文旨在通过一个实际的例子,说明如何通过数据思维来解决研发工作中的一些棘手问题.通过此文,希望能够清楚地阐述我对下面几个 ...
最新文章
- R语言将数据列中的多种日期格式统一变化为一种固定格式实战：使用lubridate包中的parse_date_time函数
- python用什么软件编程1001python用什么软件编程-Python中免验证跳转到内容页的实例代码...
- 全局事件-广播（Broadcast）
- 线性规划——规范型，标准型，基阵、基本解、基本可行解、基变量、非基变量.... 概念梳理
- 浅谈三个星期零基础入门学习Thinkphp5开发restful-api接口的心得和总结
- 文件操作-读取文件内容
- 循环码差错图样matlab,基于MATLAB的(15,7)循环码的编译仿真.doc
- eclipse插件svn账号信息清空重新登陆
- win10想说爱你不容易——安装.net3.5也是一个坑（已有完美解决方法）
- Android-解决ViewFlipper与ScrollView滑动响应事件拦截的问题【转】
- QT Icon设置异常
- Iptables+Tproxy+RedSocks2的udp转发相关
- c语言文件输入调查结论,C语言选修实验报告_调查报告_表格模板_实用文档.doc
- 显示upnp服务器 sonos,四步解决UPNP功能被阻塞的问题
- 电脑excel合并单元格怎么拆分开来
- mac如何安装vue(简单明了)
- matlab计算纹波电压,如何估算开关电源纹波电压？
- 爆破密码-hydra
- 【python安装】其他支持库的安装
- 精通Java事务编程(8)-可串行化隔离级别之可串行化的快照隔离