电商平台数据仓库搭建01-项目介绍
1，项目说明
本项目来源于github 电商平台数据仓库搭建 。该项目仅供个学习使用
项目为个人学习记录，项目代码及文件可访问 电商平台数据仓库搭建 获得。访问不了的同学也可以私信我。
2，项目流程设计
3，数据说明
数据生成
由于是个人学习，我们的数据是利用java工程自动生成，数据格式参考当前企业中广泛采用的数据类型。
1 埋点数据基本格式
（1） 公共字段：基本所有安卓手机都包含的字段
（2 ） 业务字段：埋点上报的字段，有具体的业务类型
下面就是一个示例，表示业务字段的上传。
{
"ap":"xxxxx",//项目数据来源 app pc
"cm": { //公共字段"mid": "", // (String) 设备唯一标识"uid": "", // (String) 用户标识"vc": "1", // (String) versionCode，程序版本号"vn": "1.0", // (String) versionName，程序版本名"l": "zh", // (String) 系统语言"sr": "", // (String) 渠道号，应用从哪个渠道来的。"os": "7.1.1", // (String) Android系统版本"ar": "CN", // (String) 区域"md": "BBB100-1", // (String) 手机型号"ba": "blackberry", // (String) 手机品牌"sv": "V2.2.1", // (String) sdkVersion"g": "", // (String) gmail"hw": "1620x1080", // (String) heightXwidth，屏幕宽高"t": "1506047606608", // (String) 客户端日志产生时的时间"nw": "WIFI", // (String) 网络模式"ln": 0, // (double) lng经度"la": 0 // (double) lat 纬度},
"et": [ //事件{"ett": "1506047605364", //客户端事件产生时间"en": "display", //事件名称"kv": { //事件结果，以key-value形式自行定义"goodsid": "236","action": "1","extend1": "1",
"place": "2",
"category": "75"}}]
}示例日志（服务器时间戳 | 日志）：
1540934156385|{"ap": "gmall", "cm": {"uid": "1234", "vc": "2", "vn": "1.0", "la": "EN", "sr": "", "os": "7.1.1", "ar": "CN", "md": "BBB100-1", "ba": "blackberry", "sv": "V2.2.1", "g": "abc@gmail.com", "hw": "1620x1080", "t": "1506047606608", "nw": "WIFI", "ln": 0}, "et": [{"ett": "1506047605364", //客户端事件产生时间"en": "display", //事件名称"kv": { //事件结果，以key-value形式自行定义"goodsid": "236","action": "1","extend1": "1","place": "2","category": "75"}},{"ett": "1552352626835","en": "active_background","kv": {"active_source": "1"}}]}
}2 事件日志数据
2.1 商品列表页(loading)
| 标签 | 含义 |
|---|---|
| action | 动作：开始加载=1，加载成功=2，加载失败=3 |
| loading_time | 加载时长：计算下拉开始到接口返回数据的时间，（开始加载报0，加载成功或加载失败才上报时间） |
| loading_way | 加载类型：1-读取缓存，2-从接口拉新数据 （加载成功才上报加载类型） |
| extend1 | 扩展字段 Extend1 |
| extend2 | 扩展字段 Extend2 |
| type | 加载类型：自动加载=1，用户下拽加载=2，底部加载=3（底部条触发点击底部提示条/点击返回顶部加载） |
| type1 | 加载失败码：把加载失败状态码报回来（报空为加载成功，没有失败） |
2.2 商品点击(display)
| 标签 | 含义 |
|---|---|
| action | 动作：曝光商品=1，点击商品=2， |
| goodsid | 商品ID（服务端下发的ID） |
| place | 顺序（第几条商品，第一条为0，第二条为1，如此类推） |
| extend1 | 曝光类型：1 - 首次曝光 2-重复曝光 |
| category | 分类ID（服务端定义的分类ID） |
2.3 商品详情页(newsdetail)
| 标签 | 含义 |
|---|---|
| entry | 页面入口来源：应用首页=1、push=2、详情页相关推荐=3 |
| action | 动作：开始加载=1，加载成功=2（pv），加载失败=3, 退出页面=4 |
| goodsid | 商品ID（服务端下发的ID） |
| show_style | 商品样式：0、无图、1、一张大图、2、两张图、3、三张小图、4、一张小图、5、一张大图两张小图 |
| news_staytime | 页面停留时长：从商品开始加载时开始计算，到用户关闭页面所用的时间。若中途用跳转到其它页面了，则暂停计时，待回到详情页时恢复计时。或中途划出的时间超过10分钟，则本次计时作废，不上报本次数据。如未加载成功退出，则报空。 |
| loading_time | 加载时长：计算页面开始加载到接口返回数据的时间 （开始加载报0，加载成功或加载失败才上报时间） |
| type1 | 加载失败码：把加载失败状态码报回来（报空为加载成功，没有失败） |
| category | 分类ID（服务端定义的分类ID） |
2.4 广告(ad)
| 标签 | 含义**** |
|---|---|
| entry | 入口：商品列表页=1 应用首页=2 商品详情页=3 |
| action | 动作：请求广告=1 取缓存广告=2 广告位展示=3 广告展示=4 广告点击=5 |
| content | 状态：成功=1 失败=2 |
| detail | 失败码（没有则上报空） |
| source | 广告来源:admob=1 facebook=2 ADX（百度）=3 VK（俄罗斯）=4 |
| behavior | 用户行为： 主动获取广告=1 被动获取广告=2 |
| newstype | Type: 1- 图文 2-图集 3-段子 4-GIF 5-视频 6-调查 7-纯文 8-视频+图文 9-GIF+图文 0-其他 |
| show_style | 内容样式：无图(纯文字)=6 一张大图=1 三站小图+文=4 一张小图=2 一张大图两张小图+文=3 图集+文 = 5 一张大图+文=11 GIF大图+文=12 视频(大图)+文 = 13 来源于详情页相关推荐的商品，上报样式都为0（因为都是左文右图） |
2.5 消息通知(notification)
| 标签 | 含义 |
|---|---|
| action | 动作：通知产生=1，通知弹出=2，通知点击=3，常驻通知展示（不重复上报，一天之内只报一次）=4 |
| type | 通知id：预警通知=1，天气预报（早=2，晚=3），常驻=4 |
| ap_time | 客户端弹出时间 |
| content | 备用字段 |
2.6 用户前台活跃(active_foreground)
| 标签 | 含义 |
|---|---|
| push_id | 推送的消息的id，如果不是从推送消息打开，传空 |
| access | 1.push 2.icon 3.其他 |
2.7 用户后台活跃(active_background)
| 标签 | 含义 |
|---|---|
| active_source | 1=upgrade,2=download(下载),3=plugin_upgrade |
2.8 评论（comment）
| 序号 | 字段名称 | 字段描述 | 字段类型 | 长度 | 允许空 | 缺省值 |
|---|---|---|---|---|---|---|
| 1 | comment_id | 评论表 | int | 10,0 | ||
| 2 | userid | 用户id | int | 10,0 | √ | 0 |
| 3 | p_comment_id | 父级评论id(为0则是一级评论,不为0则是回复) | int | 10,0 | √ | |
| 4 | content | 评论内容 | string | 1000 | √ | |
| 5 | addtime | 创建时间 | string | √ | ||
| 6 | other_id | 评论的相关id | int | 10,0 | √ | |
| 7 | praise_count | 点赞数量 | int | 10,0 | √ | 0 |
| 8 | reply_count | 回复数量 | int | 10,0 | √ | 0 |
2.9 收藏（favorites）
| 序号 | 字段名称 | 字段描述 | 字段类型 | 长度 | 允许空 | 缺省值 |
|---|---|---|---|---|---|---|
| 1 | id | 主键 | int | 10,0 | ||
| 2 | course_id | 商品id | int | 10,0 | √ | 0 |
| 3 | userid | 用户ID | int | 10,0 | √ | 0 |
| 4 | add_time | 创建时间 | string | √ |
2.10点赞（praise）
| 序号 | 字段名称 | 字段描述 | 字段类型 | 长度 | 允许空 | 缺省值 |
|---|---|---|---|---|---|---|
| 1 | id | 主键id | int | 10,0 | ||
| 2 | userid | 用户id | int | 10,0 | √ | |
| 3 | target_id | 点赞的对象id | int | 10,0 | √ | |
| 4 | type | 点赞类型 1问答点赞 2问答评论点赞 3 文章点赞数4 评论点赞 | int | 10,0 | √ | |
| 5 | add_time | 添加时间 | string | √ |
2.11错误日志
| errorBrief | 错误摘要 |
|---|---|
| errorDetail | 错误详情 |
3 启动日志数据
| 标签 | 含义 |
|---|---|
| entry | 入口： push=1，widget=2，icon=3，notification=4, lockscreen_widget =5 |
| open_ad_type | 开屏广告类型: 开屏原生广告=1, 开屏插屏广告=2 |
| action | 状态：成功=1 失败=2 |
| loading_time | 加载时长：计算下拉开始到接口返回数据的时间，（开始加载报0，加载成功或加载失败才上报时间） |
| detail | 失败码（没有则上报空） |
| extend1 | 失败的message（没有则上报空） |
| en | 日志类型start |
4 数据生成脚本
| detail | 失败码（没有则上报空） |
| extend1 | 失败的message（没有则上报空） |
| en | 日志类型start |
4 数据生成脚本
用idea打开\jars\java下的logcollector工程，打包（带依赖），后续装完Hadoop和zookeeper后使用。
电商平台数据仓库搭建01-项目介绍相关推荐
- 电商平台数据仓库搭建02-Hadoop集群搭建
1,项目说明 本项目来源于github 电商平台数据仓库搭建 . 项目为个人学习记录,项目代码及文件可访问 电商平台数据仓库搭建 获得. 2,项目准备 虚拟机准备 虚拟机开发工具为 VMware15. ...
- 电商平台数据可视化Echarts-Vue项目综合练习(黑马pink老师)学习记录
放假在家没事,跟着b站黑马前端课程手把手做了个电商平台数据可视化实时监控系统.老师课讲得非常好,几乎是保姆级别,对我这种小白非常友好.在这里记录一些自己遇到的问题,欢迎批评指正. 问题记录 1.ECh ...
- 爬取电商平台数据，python爬取某维商品数据
本次内容: 爬取电商平台数据,python爬取某维商品数据 课程亮点 动态数据抓包演示 json数据解析 requests模块的使用 保存csv 环境介绍 python 3.8 [最好用和老师一样的版 ...
- 基于JavaScript+Koa2实现 Echarts 电商平台数据可视化大屏全栈【100010415】
全新 Echarts 电商平台数据可视化大屏全栈 1. 前言 五一假期重学了新版 Echarts,一个基于 JavaScript 的开源可视化图表库,收集参考了很多网上资料,最终选择电商平台作为练手项 ...
- 【大数据相关】电商大数据之用户画像介绍
因为平时工作中接触的跟大数据有关,于是学习了一下大数据 第一篇学习的是:慕课网 -- 大数据 -- 电商大数据之用户画像介绍 笔记--基本概念介绍: 1.用户画像的价值 --- 有利于精准营销,营销 ...
- 电商数据监测：如何获取想要的电商平台数据？
随着电商行业的发展,越来越多的企业开始通过电商平台销售商品.为了更好地掌握市场信息和消费者需求,企业需要获取电商平台上的数据.这些数据可以帮助企业制定营销策略.优化产品设计和提高竞争力.本文将介绍如何 ...
- 电商平台数据解锁网红零食销量密码
" 你知道"巨型猪饲料""单身狗粮"是什么吗?这不是给动物吃的,也许你或多或少听说过,这些在网上引起巨大反响的零食,完全激起了大家的购买欲望. &qu ...
- 如何对一个B2C电商平台数据建模-3-订单
综述 假定为一个B2C的电商公司 对于一般的零售或者生产公司来说,订单/采购单收入和成本的最大来源.本章主要讨论如何建立一个通用的销售订单和采购单模型 原文见:数据建模3-订单 逻辑模型 订单相关业务 ...
- 聚美优品API 根据关键词取商品列表 Onebound电商平台数据
万邦聚美优品根据关键词取商品列表 API 返回值说明 item_search-根据关键词取商品列表 API test onebound.jumei.item_search 公共参数 请求地址: 跨 ...
最新文章
- Silverlight 3.0 Beta版 正式发布
- python要学哪些_学python都要学哪些内容？
- 与大疆并称双雄、估值近百亿的极飞科技，现在是一家什么公司？
- 节点、支路、回路的概念
- Android7.0 PowerManagerService(3) 核心函数updatePowerStateLocked的主要流程
- jsp超链接中怎么跳转页面跳转页面_在页面点击超链接跳到别的页面，方法是什么？...
- html块中的内容垂直居中,css如何设置行内元素与块级元素的内容垂直居中
- 详解java访问修饰符
- 《王者荣耀》强制实名；联想打脸雷军；HTC 拍 VR 版《笑傲江湖》| 极客头条
- 考拉Android全局滑动返回及联动效果的实现
- 老显卡都涨价了，所以我把坏的显卡拿出来修
- java适配器模式_java设计模式之适配器模式
- Oracle P6培训系列：14定义资源的计量单位
- python股票回测_python量化入门（一）——利用特定指标筛选股票并回测
- 我太机智了……30条关于数据行业内涵笑话漫画
- java map putall 覆盖_Java HashMap putAll() 方法
- Unity3d 场景搭建 基础 学习
- 计算机用户guest无法删除吗,win7怎样删除guest账户_win7删除guest账户的步骤
- Unity--游戏字幕
- 勃林格殷格翰与Lifebit合作识别全球传染病暴发；百济神州和Shoreline Biosciences达成合作 | 医药健闻...