互联网电商大数据环境 ——大数飓数据分析实践培训精华笔记(一)—

互联网电商大数据环境
——数据分析实践培训精华笔记(一)

工作内容
项目：DW数据库建设/经分/客户精准营销/推荐系统需求/移动端数据分析
数据：流量数据/交易数据B2C/会员与活动数据/物流与配送数据/内部财务数据
数据产品举例：淘宝数据魔方/腾讯用户画像/京东罗盘/客户标签

工作事宜
平台工作：系统不好用/上线/工具开发/权限控制/开发监控程序/报错
数据开发：抽取和装载日志数据和源系统数据/开发宽表模型/数据开发需

求/业务咨询/数据开发需求/大促等临时提取数据/数据异常

电商项目生命周期

提出需求－需求文档－讨论可行性－初步数据来源－需求调研－初步方案－时间预算－PMO跟进项目－整体排期－测试日期－数据质量测试排期－制定详细实现方案－mapping文档－方案建表－开发ETL－ETL单元测试－调度平台－详细mapping提测－ETL逻辑上到测试环境－跑批－根据mapping写SQL测试ETL逻辑－质量测试－上线

hadoop应用
1. 数据仓库、商业智能（阿里、腾讯系、百度、京东、新浪）
2.互联网广告计算　Yahoo
3.站内搜索引擎项目 Ebay, 支付宝
4.内容推荐引擎　人人，优酷，新浪
5.病毒分析/垃圾邮件识别 Yahoo,360
6.云计算　百度，亚马逊
7.其他

商业智能与数据仓库基础

背景一：
操作层数据特点是细节化、分散化、个案化
决策型数据特点是集成化、综合化、汇总化
背景二：
企业对应用集成的需求{实习监控运转情况、决策支持未来发展、预测}
企业对当前应用系统的要求{支持中远期决策，全局信息实时监控与决策}
现行应用系统的弊端{数据分散、数据不兼容、系统应用孤立}

BI　
商业智能：利用数据提高决策质量。业务－数据－数据价值(报表或图－可任意快速旋转组合)
BI智能：BI产生的数据集合像
BI技术：ETL/DW/OLAP/DM
BI效益：集成并分析历史或实时数据，将数据升华为执行力
(1) 洞察力：高层分析（战略目标）、中层分析（绩效战术）、一线分析（有效行动）
(2) 协同一致：供应商-各部门-客户

DW
先构建数仓才能提供BI应用。而数仓建设以现有企业业务系统和大量业务数据的积累为基础。
数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支撑管理决策。
1.聚焦决策者的数据建模与分析，排除对决策无用的数据
2.集成异种数据源，数据一致性（关系数据库+一般文件+联机事务处理记录）
3.相对稳定：数据仓库的数据只添加罕更新保证数据稳定。通常需要三种数据访问：数据初始化装入、数据的添加和数据查询访问。
4.反映历史变化。操作型数据库主要关心当前某时间段内数据。而数仓数据包含历史信息，可通过发展历程和未来趋势做定量分析。

数据仓库不是静态概念，只有把信息及时交给需要这些信息的使用者供其做出改善业务经营的决策，信息才有意义。而把信息加以整理归纳和重组，并及时提供给相应的管理决策者，是数据仓库的根本任务。因此，从产业界的角度看，数据仓库建设是一个工程，是一个过程。

互联网电商大数据环境 ——大数飓数据分析实践培训精华笔记(一)——简介入门相关推荐

互联网电商大数据环境 ——大数飓数据分析实践培训精华笔记(六)——电商核心业务知识之订单商品模块
电商核心业务知识订单商品模块(9张表) --订单主要信息表 drop table if exists itqsc.ods_b2c_orders; create external table itqs ...
互联网电商大数据环境 ——大数飓数据分析实践培训精华笔记(三)——数据仓库理论
数据仓库理论 DW定义数据仓库是一个面向主题的.集成的.相对稳定的.反映历史变化的数据集合,用于支撑管理决策. 1.聚焦决策者的数据建模与分析,排除对决策无用的数据 2.集成异种数据源,数据一致性( ...
互联网电商大数据环境 ——大数飓数据分析实践培训精华笔记(二)——BI构建
BI构建 BI应用架构 BI底层:数据源--ETL--BI数据仓库 BI服务:交互式信息板.报告并发布.即席分析.预先检测和警报.离线分析.MS Office插件.Web服务 BI应用:销售.服务和 ...
互联网电商大数据环境 ——大数飓数据分析实践培训精华笔记(四)——维度建模基础理论
维度建模基础理论事实表事实表保存了大量业务度量数据(即事实)的表.最有用的事实是数字类型.可加类型. 事实表以粒度化分:事务粒度事实表(细).周期快照粒度事实表.累积快照粒度事实表(粗). 事实表 ...
互联网电商大数据环境 ——大数飓数据分析实践培训精华笔记(五)——数据仓库维度建模实例
维度建模实例库存管理业务建模案例 1. 选定某一业务过程,如:库存管理业务 2.根据各用户的需求(关注的主题),定义该业务处理的粒度. 主题一:矿厂中每种产品库存水平的日快照主题二:每种特定产品的 ...
互联网电商大数据环境 ——大数飓数据分析实践培训精华笔记(九)——电商核心业务知识之订单商品模块
商品信息汇总表 select user_id, sum(case when pay_type not in ('退货','拒收') then goods_amount end) p_s ...
互联网电商大数据环境 ——大数飓数据分析实践培训精华笔记(七)——电商核心业务知识之订单商品模块
订单宽表 #!/bin/bash #====== #dm_b2c_orders.sh 这里用shell来调 #订单宽表--两个表关联 #====== DT=`date -d '-1 day' ...
互联网电商大数据环境 ——大数飓数据分析实践培训精华笔记(八)——电商核心业务知识之订单商品模块三
订单指标表计算 #!/bin/bash #====== #dm_b2c_orders_goods.sh 这里用shell来调用SQL #订单指标表计算 #====== DT=`date -d ...
鸿蒙手机系统还没有开发,华为鸿蒙手机太难了！引发开发者大吐槽：为何没有自己独特风格？-互联网/电商-文章-小虾米...
[华为鸿蒙手机太难了!引发开发者大吐槽:为何没有自己独特风格?]互联网/电商-文章-小虾米 2020-12-27 11:32:02 小虾米帐号:军事科技(tabc) 关注我举报来源:q ...

互联网电商大数据环境 ——大数飓数据分析实践培训精华笔记(一)——简介入门

互联网电商大数据环境 ——大数飓数据分析实践培训精华笔记(一)——简介入门相关推荐

最新文章

热门文章