1.数据埋点

1.0 开始

为什么要做埋点业务？需求、价值、痛点
埋点它是‍‍指在APP或网页应用中针对特定的流程收集一定的信息，‍‍用来跟踪APP或网页服务被使用的情况，以便后续用来进一步优化产品或进行运营支持。

埋点可以衡量用户与网站或APP互动的情况。

数据获取手段-填写、埋点、日志

（1）用户填写信息

（2）APP 或网页埋点（特定流程的信息记录点）

‍数据获取的另外一种手段就是填写、埋点、日志，
填写就是需要用户填写的信息，‍‍最常见的就是用户注册的时候需要填写一些基本信息，
埋点它是‍‍指在APP或网页应用中针对特定的流程收集一定的信息，‍‍用来跟踪APP或网页服务被使用的情况，以便后续用来进一步优化产品或进行运营支持。‍‍

比较常见的记录项包括访问、访客停留时间、页面查看和跳出率。‍‍
这样的信息收集大致可以分为两种，
第一种是页面统计，
第二种就是统计它的操作行为。‍‍

对于一个互联网公司来说，埋点是非常重要的数据来源，它直接记录了用户与互联网产品的交互过程，‍‍几乎可以复现用户使用互联网产品时候的过程，埋点可以自己开发，也可以用一些第三方的插件，‍‍像友盟这方面的服务做的还是不错的。‍‍

最后一个操作日志，日志和数据仓库有共同的作用，只是说日志的记录相对来说更加精简一些，也可以在出故障的时候帮助我们定位问题。

日志是以文件形式记录的，‍‍但一般为了分析，日志也是需要被汇总到数据仓库中，然后进行统一的分析。‍‍

日志也有前端日志和后端日志，前端日志就是你的网页或者你的手机APP里记录的一些日志，‍‍前端日志是需要传输到后端才能被记录的，后端日志就是服务器的日志可以直接进行处理，‍‍数据获取的最后一种手段计算，有些属性我们不能直接获取，通过计算才会变得有意义。‍‍

像什么我们常见的市盈率，或者是一些企业常见的投入产出比，这些我们关注的因子，‍‍它们不能被直接观测到，必须是计算以后才有它的实际意义。

1.1主流埋点方式（了解）

目前主流的埋点方式，有代码埋点（前端/后端）、可视化埋点、全埋点三种。
代码埋点是通过调用埋点SDK函数，在需要埋点的业务逻辑功能位置调用接口，上报埋点数据。
问题：埋点SDK函数怎么设计？
例如，我们对页面中的某个按钮埋点后，当这个按钮被点击时，可以在这个按钮对应的OnClick函数里面调用SDK提供的数据发送接口，来发送数据。

可视化埋点只需要研发人员集成采集SDK,不需要写埋点代码，业务人员就可以通过访问分析平台的“圈选”功能，来“圈”出需要对用户行为进行捕捉的控件，并对该事件进行命名。
圈选完毕后，这些配置会同步到各个用户的终端上，由采集SDK按照圈选的配置自动进行用户行为数据的采集和发送。

全埋点是通过在产品中嵌入SDK,前端自动采集页面上的全部用户行为事件，上报埋点数据，相当于做了一个统一的埋点。然后再通过界面配置哪些数据需要在系统里面进行分析。

1.2 埋点数据上报时机

埋点数据上报时机包括两种方式。

方式一，在离开该页面时，上传在这个页面产生的所有数据（页面、事件、曝光、错误等)。
优点，批处理，减少了服务器接收数据压力
缺点，不是特别及时。（采用方式一埋点）

方式二，每个事件、动作、错误等，产生后，立即发送。
优点，响应及时。
缺点，对服务器接收数据压力比较大。

1.3 埋点数据日志结构

我们的日志结构大致可分为两类，

一是普通页面埋点日志，
二是启动日志。

普通页面日志结构如下，
每条日志包含了，当前页面的页面信息，所有事件（动作）、
所有曝光信息以及错误信息。

除此之外，还包含了一系列公共信息，包括设备信息，地理位置，应用信息等，即下边的common字段。(json字符串)
(1)普通页面埋点日志格式

{"common":{       ------公共信息
"ar":n230000",  --地区编码
"ba":"iphone",  --手机品牌
"ch":"Appstore", --渠道
"is new":"1",   --是否首日使用，首次使用的当日，该字段值为1，过了24：00，该字段置为0
"md":"iPhone 14",  --手机型号
"mid":"YyAI6As2z9IqfhjAYH",--设备id 类似 电脑的MAC地址 全球唯一
"os":"i0S15.3.14",  --操作系统
"uid":"9527",  --会员id
"vc":"v2.1.134"  --app版本号
},
"actions":[      ------动作（事件）
{
"action_id":"favor add",--动作id
"item":"3",  --目标id
"item_type":"sku_id",  --目标类型
"ts":1085649437636012,  --动作时间戳
}
],
"displays":[  ------ 曝光
{
"displayType":"query",--曝光类型
"item":"3",  --曝光对象id
"item_type":"sku_id",  --曝光对象类型
"order":1,  --出现顺序
"pos_id":2  --曝光位置
},
{
"displayType":"promotion",
"item":"6",
"item_type":"sku_id",  --曝光对象类型
"order":2,
"pos_id":1
},
{
"displayType":"promotion",
"item":"9",
"item_type":"sku_id",
"order":3,
"pos_id":3
},
{
"displayType":"recommend",
"item":"6",
"item_type":"sku_id",
"order":4,
"pos_id":2
},
{
"displayType":"query "
"item":"6"
"item_type":"sku_id",
"order":5,
"pos_id":1
}
],
"page":{
------页面信息
"during time":7648,  --持续时间毫秒
"item":"3",  --目标id
"item_type":"sku_id",  --目标类型
"last_page_id":"login",  --上页类型
"page_id":"good_detail",  --页面ID
"sourceType":"promotion"  --来源类型,
}
"err":{  ------错误
"error_code":"1004"  --错误码
"msg":"errMsg Detail"  --错误信息
},
"ts":19857442384437 --跳入时间戳
}

(2)启动日志格式

启动日志结构相对简单，主要包含公共信息，启动信息和错误信息。

{"common":{"ar":"3690000",
"ba":"Honor",
"ch":"yydoujia",
"is_new":"1",
"md":"Honor 20s",
"mid":"eQF5boERMJFOujcp",
"os":"Android20.0",
"uid":"96",
"vc":"v3.4.789"
},
"start":{"entry":"icon",  --icon手机图标 notice通知 install安装后启动
"1oading_time":18803,--启动加载时间
"open_ad_id":7,  --广告页ID
"open_ad_ms":3009,--广告总共播放时间
"open_ad_skip_ms":1900  --用户跳过广告时点
},
"ts":19857942384437 --跳入时间戳
}

1.4.市面上开源的埋点工具有哪些？

小象用户行为分析平台：https://gitee.com/xiaoxiangopen/analysis
铸龙BI: https://www.yuque.com/jianghurenchenggolang/oehqme/hen7qy#mPEDK

1.5. 市面上付费的埋点工具有哪些？

友盟：https://www.umeng.com/
神策数据：
https://www.sensorsdata.cn/
其他（loading）

1.6. 提供什么服务？能做什么？有哪些模块？

比如小象用户行为分析平台提供的服务：
包括用户埋点数据采集、用户标签分群和画像、智慧运营、营销等
概览分析 - 基础指标监控：

概览分析 - 我的概览：

增长分析 - 漏斗分析：

增长分析 - 留存分析：

增长分析 - 分布分析：

增长分析 - LTV分析：

增长分析 - 用户路径分析：

用户画像 - 用户画像：

智能营销 - 智慧运营：

智能营销 - 消息推送：

智能营销 - 智能推荐：

智能营销 - 权益发放：

元数据管理 - 应用管理：

元数据管理 - 元事件分组;

神策数据提供的服务：
行为分析，（事件分析，网页热力分析，App点击分析）
用户分析，（用户群画像，属性分析）

智能运营，（运营计划，流程画布，内容管理）

广告投放分析，（报表，推广，资产，管理和配置）

用户管理：

内容管理：

数据管理：

1.7 其他方案
使用 clickhouse+datax+redash

【数据埋点】主流埋点方式了解相关推荐

漫谈大数据 - 如何设计业务埋点方案与数据采集应用
业务埋点和数据分析是在用户行为和业务数据上进行跟踪.收集和分析的关键方法,用于了解用户行为模式.改进产品和服务,并做出数据驱动的决策. 全文1.5万字,建议阅读时间35min. 目录业务埋点埋点的 ...
数据产品经理：埋点的设计、管理与应用
本文由作者董小矿于社区发布前言: 本篇是从数据产品经理如何设计.管理和应用埋点的角度重新整理的文章,其中:1.埋点类型.2.1新增埋点设计.2.3产品指标地图部分的内容,与本人之前的文章有重叠, ...
神策数据 App 可视化全埋点 2.0 重磅升级！抢先体验
伴随着大数据计算能力的软硬件环境成熟,国内大部分企业的数据意识在逐渐提升,寄希望于数据高效应用,基于数据驱动的力量推动决策落地.在这个过程中,数据采集作为数据应用的起点,其重要性不言而喻. 目前,神策 ...
数据产品-指标体系和埋点设计
在整个数据链路过程中,数据的获取是链路源头,而其中埋点就是最为常见的数据源头之一,其数据之丰富,量级之庞大,灵活且多变.因此,对数据埋点的精确设计和高效采集可以说是每个希望通过数据驱动增长的公司所需重 ...
大数据Hive篇_埋点、日志数据清洗（string类型）
实习期间处理业务需求不会的总结汇总,主要学习自花花里的前辈带教.与<Hive编程指南>一书,不足之处,望多多指正. 前言实际的业务处理中,业务方提出的一个临时需求如果找不到对应的取数表, ...
埋点治理埋点回归实时埋点自动化离线数据监控-公开版
1. 埋点相关文档: 埋点涉及到的各种平台 XX平台:抓取实时埋点日志正则平台:埋点case正则表达式 XX监控平台:关注埋点监控日报 BI埋点数据监控平台:大盘数据 XX报警平台:但暂不支持正则报 ...
埋点治理埋点回归实时埋点自动化离线数据监控
1. 埋点相关文档: 埋点涉及到的各种平台 XX平台:抓取实时埋点日志正则平台:埋点case正则表达式 XX监控平台:关注埋点监控日报 BI埋点数据监控平台:大盘数据 XX报警平台:但暂不支持正则报 ...
python埋点测试_埋点进化论：从埋点到无埋点
鲁迅先生说:世界上本没有埋点,需要数据的人多了,也就有了埋点. 埋点的诞生在最初的互联网世界中,并没有埋点的概念.大家并不关心流量从哪里来,用户在网站上做了什么事,一切都是野蛮生长. 随着业务的增长 ...
前端埋点的缺点_【埋点学习埋点质量】埋点的框架设计及其准确性
是新朋友吗?记得先点蓝字关注我哦- 通过前两章<送你一份埋点需求分析&设计埋点方案><一份规范的埋点需求文档该如何写?>,我们已经足够了解埋点,并且能够输出埋点文档了. ...

【数据埋点】主流埋点方式了解

1.数据埋点

1.0 开始

1.1主流埋点方式（了解）

1.2 埋点数据上报时机

1.3 埋点数据日志结构

1.4.市面上开源的埋点工具有哪些？

1.5. 市面上付费的埋点工具有哪些？

1.6. 提供什么服务？能做什么？有哪些模块？

【数据埋点】主流埋点方式了解相关推荐

最新文章

热门文章

【数据埋点】主流埋点方式了解

1.数据埋点

1.0 开始

1.1主流埋点方式（了解）

1.2 埋点数据上报时机

1.3 埋点数据日志结构

1.4.市面上 开源的 埋点 工具有哪些？

1.5. 市面上付费的 埋点 工具有哪些？

1.6. 提供什么服务？能做什么？有哪些模块？

【数据埋点】主流埋点方式了解相关推荐

最新文章

热门文章

1.4.市面上开源的埋点工具有哪些？

1.5. 市面上付费的埋点工具有哪些？