阿里云Clouder认证

六、基于阿里云数加构建企业级数据分析平台

1. 课程目标

(1) 了解数据分析的步骤和目的
(2) 熟悉数据分析平台搭建的组成部分
(3) 掌握阿里云数加不同产品及其使用场景
(4) 灵活使用数加的不同产品搭建数据分析平台(5)目录- 数据分析介绍- 阿里云数加介绍- 常用的数加产品- 任务：搭建企业级的数据分析平台
复制代码

2. 数据分析介绍

(1)数据分析的基本介绍

• 数据分析是基于商业目的，有目的的进行收集、整理、加工和分析数据，提炼有价值信息的过程。
• <1>.明确目的：
  • 数据对象是？
  • 商业目的是？
  • 解决业务问题？
• <2>.数据收集：
  • 确定数据范围
  • 获取目标数据
  • 整合相关数据
• <3>.数据处理：
  • 处理缺失数据
  • 清洗不一致数据
  • 关联、汇总数据
• <4>.数据分析：
  • 基本数据分析
  • 数据探索
  • 复杂数据分析
• <5>.数据展现：
  • 整理组合信息
  • 整合信息、观点
  • 图表展现信息
• <6>.分析报告：
  • 简单可靠
  • 清晰明了
  • 逻辑性强

(2)数据分析的目的

• 获得用户
• 留住用户
• 增加收益
• 市场营销
• 产品运营
• 客户服务
• 业务优化
• 流程改进
• 发现机会

(3)数据分析平台的组成部分

• 分析需求
• 确认数据源
• ETL处理(数据的抽取、转换、加载)
• 数据整合/汇总
• 数据建模
• 数据分析/展现

(4)数据分析平台对应的场景

• 源数据：进行数据的获取
• 数据仓库：数据存储、组织；数据计算；数据建模
• 数据应用：数据分析

3. 阿里云数加介绍

(1)“数加”是什么

• 数加是阿里云大数据的品牌名，旗下包含一系列的大数据产品及服务，是上万名工程师实战检验过的一站式大数据平台。
• “数加”是阿里云大数据的核心能力

4. 常用的数加产品

(1)数据分析平台常用的数加产品

• **Maxcompute：**快速、完全托管的TB/PB级数据仓库解决方案。提供了针对海量数据存储、运算的能力。
• **DataIDE：**基于Maxcompute提供海量数据的离线加工分析、展现、数据挖掘的能力，一站式开发、运维工具。
• **QuickBI：**提供海量数据在线分析服务，支持拖拽式操作，可完成数据分析、业务数据探查、报表制作等工作。

(2)MaxCompute介绍

• 大数据计算服务(MaxCompute，原ODPS)由阿里云自主研发，提供针对TB/PB级数据、离线式实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。阿里巴巴的数据业务都运行在ODPS上。
• **分布式：**采用分布式集群架构、跨集群技术突破、机群规模可以根据需要灵活扩展
• **安全：**自动存储容错机制、所有计算在沙箱中运行、保障数据高安全性、高可靠性
• **易用：**准API的方式提供服务、高并发高吞吐量数后上传下载、全面支持基于SQL的数据处理
• **管理与授权：**支持多用户管理协同分析数据、支特多种方式对用户权限管理、配置灵活的数据访问控制策略
• MaxCompute的应用特点：
  • **海量运算触手可得：**根据数据规模自动调整集群存储和计算能力，最大化发挥数据的价值。
  • 服务“开箱即用”：又需简单的几步操作，就可以上传数据、分析数据并得到分析结果。
  • **数据存储安全可靠：**二重备份、读写鉴权、应用沙箱、系统沙箱等多层次安全机制。
  • **多用户协作：**保障数据安全的前提下最大化工作效率。
  • **按量付费：**根据实际使用收费，最大化降低数据使用成本。

(3)DataIDE介绍

• 阿里云大数据开发套件(Data IDE)提供了一个高效、安全的离线数据开发环境。
• DataIDE的应用特点：
  • **基于Max Compute：**一套基于Max Compute（原ODPS）的数据开发、数据管理工具。
  • **一站式数据开发：**提供数框同步、数加工、一健发布、调度引擎等一站式大数据开发服务。
  • **清晰可见的血缘：**基于统一的元数据服务提供数据资源管理视图、可视化的数据血缘分析，清晰展现数据表的输入与输出，方便追溯其处理过程。
  • **可视化开发界面：**面向数据开发者、数据运组人员，项日管理者，提供了可视化的开发界面。

(4)QuickBI介绍

• QuickBI(商务/商业智能)提供海量数据实时在线分析，拖拽式操作、丰富的可视化效果，可以帮助轻松自如地完成数据分析、业务数据探查。它不止是业务人员看数据的工具，更是数据化运营的助推器，解决大数据应用“最后一公里”的问题，实现人人都是数据分析师。
• QuickBI的应用特点：
  • **多：**支持多种类型数据源、支持多种可视化组件
  • **快：**海量数据的实时分析、提供智能的一键加速
  • **好：**灵活的报表集成方案、严密的安全权限管理
  • **省：**门槛低易上手省时间、云计算费用低省成本

(5)常见的应用场景：从业务系统到数据分析

• 云数据库RDS搭配大数据计算服务MaxCompute，实现对大数据的分布式分析处理，并通过QuickBI以报表的形式将结果展现出来，适用于商业分析、挖掘等大数据处理场景。