嘉宾介绍

冷戈，从事多年TOB产品及数据服务产品研发工作。现就职美团点评-小象事业部，负责零售用户数据治理、用户基础数据建设、用户画像及特征挖掘等工作。

Q1. 从事用户研究岗位需要哪些能力？

用户研究岗位基本的能力有下面几个：

1、业务理解和自己产品的了解度：熟知自身业务产品，是基本前提，无防止决策误判的保底能力。熟知包括：

• 熟悉自己业务所在领域的用户的基本特点，如自身业务为TOC的快销品类电商交易服务产品，其用户受众会具备一些基本的通用型用户特征，年龄群体在N-M岁之间占比较高，男性用户占比小于女性用户占比，用户具备较高的优惠/价格敏感度等。

• 了解自己业务所在领域的业务流程的基本特点，如商品流转链条上各个节点的作用、基本任务。销售节点上各个环节的基本特征，业务场景是什么等等。

• 了解自身业务的主要竞对的业务流程与特点，并不断跟踪行业动态，关注竞对的业务动态等，通过对竞对的动态监测，明确别人在做什么，并深入思考他们这么做的动机与期望解决的问题。

2、数据分析能力：可以通过对用户数据统计、挖掘发现用户特征。包括各类数据工具的使用，如exl\spss\tableau\r\python等，选择一个或多个适合自己业务场景的分析工具并熟练掌握，但切记，工具和分析的目的是为了提高获取结论的效率与精准度，是手段而不是目标。

3、良好的归纳总结能力：可以对数据分析后用户的特征行为做关键性的总结，提出适合业务，可落地执行的策略建议。如亚马逊分析师中经典的6页纸陈诉方式，良好的总结性陈诉沟通是确保决策建议可以快速为他人感知与确立认同感，从而保证策略落地。

Q2. 都有哪些方式可以进行数据采集？数据采集的工具都有哪些？

数据采集有非常多的方式，常见的会分为用户端数据采集、服务端/后端数据采集，第三方数据，以及其他通道。

以一个TOC电商客户端为例，以上的几种大类会有如下的方式：

1、用户端数据

最常见的就是用户行为数据，也就俗称的流量数据，多是通过客户端（线上）代码内集成的数据埋点或者采集数据API实现，常见的工具如Google Analytics、百度统计、growingio等，此类工具需要开发人员在客户端内按照规范植入相关的代码后，获得用户数据，然后通过相关服务提供的配套工具做加工展示或者自己导入后自己处理。客户端数据最大的特点就是误差率偏高、数据价值密度低、采集结果质量与埋点质量强相关。

2、服务端数据

服务端或后端数据多为用户的历史档案记录或者各类操作的结果日志，如用户注册资料，历史订单信息，物流信息、客诉服务记录等。服务端此类数据大多是在业务逻辑下，且已经制定好相关数据结构，数据质量较好且对安全性敏感，数据的分析使用需要从服务端中同步到数仓后做进一步加工处理。

3、第三方数据

如公共数据API（数据获取或者二次加工辅助），公开数据结果灯，可以通过第三方获取的开放数据。百度、腾讯、高德等大型互联网企业、各大咨询公司、统计企业，都有相关服务提供。

Q3. 如何更好地收集和使用用户数据，提升产品体验？

数据本身是非常依赖业务逻辑去解读，脱离业务的数字是毫无意义，所以在制定一套采集和使用用户或产品数据的方案前，必须要明确如下的几个要素

采集来的数据要解决什么业务问题？

为了解决此业务问题，采集处理后的数据需要在什么场景下为这个解决方案服务？

最终会用什么指标评判是否解决或者解决的程度？

通过以上的3个问题，通过确认数据的使用场景和结果目标，才能确保数据方案最终是可用的方案。

以一个TOC电商业务来举例：

1、明确业务需求，抽象需求为数据指标

2、生成指标体系，并做相关管理流程

3、根据每个指标的计算方式与维度要求，确认数据来源构成，并最终确认采集方式，已订单量这个指标举例

Q4. 如何使用大数据技术来提高企业的运营效率？

数据本身只是用于提高业务/用户决策的效率的一种方式，认可并重视数据决策结果，是一个企业确认以数据驱动，提高运营与生产效率的关键，在实际应用中，需要关注以下几点：

• 明确使用目标和场景

• 明确数据驱动业务业务理念，确认数据结果是决策的核心依据之一。

• 寻找最适合自己条件（业务现状、资金与技术能力）的数据方案，不要盲目追求高大上。

Q5. 如何选择合适的组件满足技术和存储的需求？

在确定相关的数据需求后，数据团队需要针对自身的业务发展速度、数据采集数量、质量、来源渠道做相关的规划，确保数据服务的硬件能力可以略微领先于业务的发展速度即可。

核心要素：满足业务实际，控制数据处理成本，在业务各个阶段做合理的架构选择，保证投入产出比合理。

以一个TOC电商业务来举例：

1、业务探索期，用户量为1-10W，主要为快速发展阶段，存在较多的业务探索和变动，但是每个模块数据量较小，

此时适合搭建数仓的快速加工和迭代能力，在技术上更多的选择一些轻量化架构，但是考虑到远期业务的愿景与发展能力，在基础架构上需要适度兼容未来的大型数据集和加工集群的能力。此时可以先通过MR搭建自身的ETL基础，配合基础的SLA、DQC策略，初步具备大数据加工能力，

2、业务稳定增长期，业务模式基本固定，用户量开始大量增加，此时的难度主要是数据处理压力的与日俱增，加工效率、成本、稳定性是技术的主要挑战。如在Lambda架构基础上，通过spark+flink构筑相关的批、流处理方案等。

3、业务成熟期，主流业务趋于稳定并出现瓶颈，业务上需要做新的模式、方向探索并且与旧有业务互相支持。此时1、2的技术挑战间距，即需要灵活高效的处理方式，且需要兼容大型数据加工稳定性与加工能力。

Q6. 大数据处理的流程是怎样的？各个阶段的工作都是怎样的？

数据的基本流程如图所示，如同一个工业产品的加工生产，基本都是按照采集-加工处理-落仓-应用输出这4个环节来完成的

各个阶段的工作关键点如下：

1. 采集：通过各类方式形成基础数据源，为后续加工提供加工原料。

2. 数据仓库：采集而来的数据源，通过一定清洗策略，达到应用层的基础加工标准后，存入数仓内，用于后续业务逻辑加工备用。

3. 数据抽取/服务，按照业务需求，完成相关的数据深度加工，形成最终业务应用可以直接使用的数据服务，如加工完毕的出口数据表、API接口等

4. 数据应用：直接面向最终用户的数据服务载体，如报表、策略干预，数据服务等

Q7. 如何保证数据的质量？在各个环节需要注意什么？

数据质量一直是所有大数据服务中的痛点，数据质量治理也是老生常谈的话题，也诞生了一批专职数据质量治理服务的专业公司。

数据生产就如同一个工业产品的加工生产，每一步的质量与管理出现了问题，都会导致最终交付的结果出现错误，这里分别简单介绍下每一步环节的关键质量管理点

1. 采集：采集是数据源头，采集的质量奠定了整个加工链条的基础质量，是质量中的重中之重，采集中要制定严格的采集质量流程方案，保证埋点日志、服务端库表数据源，采集的字段标准化、上下游严格统一。所用的采集工具成熟、稳定，不能因为工具问题导致质量波动。对所采集代码，采集内容，在发版期的多轮测试，日常的数据量、数据值做监控告警，采集侧的人为变动通过协作流程及时传达到数据加工人员。

2. 加工生产：加工生产的主要质量任务是保证日常各类数据生产任务正常完成，各生产任务的质量SLA与DQC需要做监控。各类同步任务，需要监控上游源的内容变动。同时，各类生产加工逻辑，需要统一管理，加工的上下游血缘需要清晰且可感知。

3. 数仓：需要保证数据安全，各类密级数据做相关的备份与容灾。

4. 应用输出：分用户身份，告知相关的数据生产加工信息，消除信息不对称导致的误解，进而出现的质量歧义。

Q8. 数据团队和业务团队之间如何进行配合？

1、业务团队需要信任数据团队的决策结果，并结合自身思考把决策的迭代建议及时反馈给数据团队。

2、数据团队需要明确数据是服务的理念，自身需要与业务团队高效沟通，明确数据使用场景。制定最合理的数据方案，同时确保可以在日常高效响应业务人员的碎片化数据提取需求。