业务场景下数据采集机制和策略
一、场景描述
做面向C端用户的产品,十分依赖用户数据的收集,下面都见过这样一张数据分析图,通过链路上各个环节的数据采集,分析对比出曝光产品的交易量:
通过对商品的浏览-点击-交易页面-支付购买等,分析产品的交易场景,这里是从大的业务方面观察数据的链路,实际上在分析的时候要考虑很多细节问题。
二、数据来源
用户数据来衡量用户或者产品的各方面纬度是最具有说服力的,所以在互联网的产品后期开发和优化过程中,对数据的采集和管理一直都是非常重要操作。
现在产品常见的客户端有PC端、H5端、APP端、小程序等各个场景的入口,更有一些物联网设备或者专门做的数据采集机制,不同的场景下的数据类型都是要区分的。通过不同端口下各类数据埋点,获取各个场景下的不同事件的数据来分析产品的优缺点,获取具有建设性的分析结果。
例如模块一中的案例:通过对端口的分析如果在APP端商品A的推荐和交易率最高,在小程序端推荐效果不好,那就可以考虑针对APP和小程序端采用不同的推荐机制。
三、事件类型划分
数据需要采集,并且要区分不同端口的数据只是基本的意识层面,思考采集数据的事件类型是最基础的操作。这里要从产品的特点去考虑,不同一概而论。下面提供一些基础采集数据和一些常见案例,关于核心业务数据相对都是精细和完整的,基本具备读库直接分析的条件。
基础信息
属性 | 字段 | 类型 | 描述 |
---|---|---|---|
操作终端 | app_client | String | Android/IOS/小程序/H5等 |
终端版本 | app_version | String | 版本号标识 |
用户标识 | user_id | Integer | 用户ID |
网络地址 | ip_address | String | 用户IP信息 |
这些信息是存在任何采点数据中的,通过这些基础信息采集,用来分析不同端口下用户的特点,以此可以进行差异化的管理和运营。
登录信息
属性 | 字段 | 类型 | 描述 |
---|---|---|---|
登录时间 | login_time | Date | 用户登录时间 |
在线时长 | online_time | Long | 在线使用系统的时间 |
通过对登录和在线时间,以及一些使用信息,判断该类用户活跃度,是否需要重点运营或者营销激活。
业务基础
属性 | 字段 | 类型 | 描述 |
---|---|---|---|
服务类型 | service_id | Integer | 不同的业务服务 |
模块划分 | model_type | Integer | 例如订单/支付/物流等 |
以此作为业务数据采集的基础信息,用来对业务数据做整体的划分和分析,具体的细节数据需要根据具体场景设计。
商品案例
属性 | 字段 | 类型 | 描述 |
---|---|---|---|
商品信息 | product_id | Integer | 商品信息 |
展现位置 | position_id | Integer | 例如:列表/推荐位/广告位 |
店铺信息 | shop_id | Integer | 所属店铺信息 |
搜索信息 | key_word | String | 搜索关键字 |
当前单价 | unit_price | Double | 商品当前单价 |
当前销量 | sales_num | Long | 商品当前销量 |
这里是按照用户浏览行为做的一个简单的数据采集信息,这种机制在实际的电商APP中很常见,产生点击或者搜索的商品会被重点推荐,如果没有这类动作,则根据日常浏览信息做推荐机制。在实际的开发中,采集的数据远比这里复杂,需要根据实际业务需要去考量。
营销案例
属性 | 字段 | 类型 | 描述 |
---|---|---|---|
活动位置 | location_id | Integer | 入口位/引导页/推荐位/分享链接等 |
营销产品 | product_id | Long | 营销活动主打产品类型 |
产品详情流量 | detail_num | Long | 活动产品浏览量统计 |
订单确认页 | detail_num | Long | 活动产品浏览量统计 |
活动交易统计 | trade_num | Long | 活动最终转化统计 |
通过运营活动进行产品营销,活动结束后对数据进行复盘统计,然后根据活动轨迹数据的分析,平衡营销产生的价值和成本,不断调整活动策略,优化运营思路。
四、实现方式
1、业务层面
从业务角度来看,除了一些用户无感知的采集操作之外,还可以基于问卷调查方式,例如很多APP在使用一段时间后都会弹出用户评价类似的评分系统,或者意见留言的入口,更加直接的搜集用户反馈信息。
2、技术层面
最常见的就是SDK埋点技术,针对特定用户行为或事件进行捕获、处理和发送给服务器的相关技术及其实施过程。这种方式用来处理一些非核心业务十分常见。如果是一些核心业务,可能需要自定义的方式采集数据,避免造成数据泄露的问题。
3、数据积累
当业务不断发展,需要分析的场景会越来越复杂,而且采集的数据量达到一定规模之后,数据管理的和分析的难度就会变大,就会需要专业化的流程和智能工具,例如BI工具,可视化组件,数据大屏,多场景联合分析等。
五、源代码地址
GitHub·地址
https://github.com/cicadasmile
GitEE·地址
https://gitee.com/cicadasmile
推荐阅读:编程体系整理
序号 | 项目名称 | GitHub地址 | GitEE地址 | 推荐指数 |
---|---|---|---|---|
01 | Java描述设计模式,算法,数据结构 | GitHub·点这里 | GitEE·点这里 | ☆☆☆☆☆ |
02 | Java基础、并发、面向对象、Web开发 | GitHub·点这里 | GitEE·点这里 | ☆☆☆☆ |
03 | SpringCloud微服务基础组件案例详解 | GitHub·点这里 | GitEE·点这里 | ☆☆☆ |
04 | SpringCloud微服务架构实战综合案例 | GitHub·点这里 | GitEE·点这里 | ☆☆☆☆☆ |
05 | SpringBoot框架基础应用入门到进阶 | GitHub·点这里 | GitEE·点这里 | ☆☆☆☆ |
06 | SpringBoot框架整合开发常用中间件 | GitHub·点这里 | GitEE·点这里 | ☆☆☆☆☆ |
07 | 数据管理、分布式、架构设计基础案例 | GitHub·点这里 | GitEE·点这里 | ☆☆☆☆☆ |
08 | 大数据系列、存储、组件、计算等框架 | GitHub·点这里 | GitEE·点这里 | ☆☆☆☆☆ |
业务场景下数据采集机制和策略相关推荐
- 神策数据成林松:数据智能在业务场景下的应用(附 PPT 下载)
在神策 2020 数据驱动用户大会「上海站」现场,神策数据业务咨询师成林松分享了<数据智能在业务场景下的应用>的演讲.(文末附 PPT 下载地址) 本文根据其演讲内容整理,数据均为虚拟. ...
- 1688 复杂业务场景下的 Serverless 提效实践
前言 首先为大家简单介绍一下我们的业务场景,1688 隶属于阿里集团的国内贸易事业部(CBU),是阿里最早起家的业务,已有十几年的历史.我们主要负责 PC 端 1688.com 以及手机端阿里巴巴 A ...
- 【实践】美团到店综合业务场景下的知识图谱构建与应用实践.pdf(附下载链接)...
猜你喜欢 0.[免费下载]2021年12月热门报告盘点1.如何搭建一套个性化推荐系统?2.快手推荐系统精排模型实践.pdf3.全民K歌推荐系统算法.架构及后台实现4.微博推荐算法实践与机器学习平台演进 ...
- 不同业务场景下如何进行数据库水平切分?
很多互联网业务,有着数据量大的特点,随着数据量的逐步增加,数据库逐渐成为系统的瓶颈. 主从同步读写分离的架构方案只能提升数据库的读性能,对单库数据量的膨胀,以及写性能的瓶颈并不能够很好解决.此时数据库 ...
- 【云原生|实践指北】5:真实业务场景下云原生项目落地实践学习
真实业务场景下云原生项目落地实践学习 写在前面的话 1.容器化的落地实践 搜题APP的云上之旅 2.Serverless的落地实践 某电商APP的Serverless改造之旅 3.云原生TKE的落地实 ...
- 报名 | 美团技术沙龙第64期:美团不同业务场景下的系统架构实践
[美团技术沙龙]由美团技术团队和美团科协主办,每期沙龙邀请美团及其他互联网公司的技术专家分享来自一线的实践经验,覆盖各主要技术领域.从2015年7月举办第一期美团技术沙龙至今,已经吸引了三万多名工程师 ...
- 数据分析:复杂业务场景下,量化评估流程
本文源码:GitHub·点这里 || GitEE·点这里 一.量化思维 在编程体系中有很多复杂的业务是很难理解的,但是又需要做一个量化分析,给业务人员或者运营,或者用户一个参考标准,例如常见指数,芝麻 ...
- 面向削峰填谷的电动汽车多目标优化调度策略 代码主要实现了考虑电动汽车参与削峰填谷的场景下,电动汽车充放电策略的优化,是一个多目标优化
MATLAB代码:面向削峰填谷的电动汽车多目标优化调度策略 关键词:电动汽车 削峰填谷 多目标 充放电优化 仿真平台:MATLAB YALMIP+CPLEX 主要内容:代码主要实现了考虑电动汽车参与削 ...
- 浅谈H5业务场景下的人脸识别
吾生也有涯,而知也无涯~欢迎优化补充.指正! 本文主要介绍基于百度的H5业务场景下人脸识别的创建与实现! 首先百度开放平台进入人脸实名认证控制台新建项目: 接着在方案清单页面点击「新建方案」按钮,方案 ...
最新文章
- Java通过JDBC连接MySQL数据库
- Linux 的账号与群组(转)
- 神经网络结构设计指导原则——输入层:神经元个数=feature维度 输出层:神经元个数=分类类别数,默认只用一个隐层 如果用多个隐层,则每个隐层的神经元数目都一样...
- sersync之不洗澡
- 【机器学习算法专题(蓄力计划)】十五、机器学习中玄乎的最大熵原理及模型
- java中同步_在Java中的方法同步和语句同步(块同步) - Break易站
- openlayers之EPSG3857
- 如何区别***工具与病毒
- SQL Server 2000 Service Pack 4 升级指南
- Quartus II cyclone 系列fpga程序下载到flash中
- 《军团要塞2》绘画渲染
- bundle包是什么意思_bundle与package区别与联系
- Java删除StringBuilder最后一个逗号
- 【Linux操作系统】——安装CentOS系统
- cad拉伸怎么用_【cad比例缩放教程】cad缩放怎么用?
- java xsd校验xml文件
- 探讨 C++ 虚函数 virtual
- 嵌入式入门之路坎坷但无比的有趣 心得交流3
- 深度学习vad人声检测之标签制作
- DNS 安全信息 (微软)
热门文章
- IDA 7.0 如何使用 IDAGolangHelper插件
- 计算机网络之数据链路层:16、无线局域网、802.11
- SSM项目使用example查询时多次查询条件相同
- Python PIL(图像处理库)使用方法
- Z-Stack Home Developer's Guide—7.EZ-Mode中文翻译【Z-Stack Home 1.2.0的开发文档】
- Java内置的观察者模式的使用
- JQuery播放器代理--IE下支持wma格式
- pytest-allure测试报告
- Cocoapods的Podfile常见语法总结
- visual studio 2015提示IE10未安装