大数据分析与应用（中级） 大数据分析平台
大数据分析与应用（中级） 大数据分析平台
目录
大数据分析与应用（中级） 大数据分析平台
1.阿里云大数据平台产品和开源大数据生态的对应关系
2.阿里云大数据计算服务MaxCompute
1.阿里云大数据计算服务MaxCompute产品的功能
2. MaxCompute基本操作
3.MaxCompute SQL 使用示例
3.一站式大数据平台DataWorks
1.DataWorks 概述
2.DataWorks 基本操作
4.BI 平台Quick BI
1.Quick BI概述（Business Intelligence）
2.Quick BI基本操作
5.数据大屏Data V
具体功能
6.机器学习平台PAI
1.机器学习平台PAI概述
2.机器学习平台PAI基本操作
6.构建阿里云大数据平台的数据仓库
1.阿里云大数据平台产品和开源大数据生态的对应关系
| 功能 | 开源大数据体系 | 阿里云大数据体系 |
| 数据仓库 | HBase、Hive | Maxcompute |
| 分布式计算 | MapReduce | MaxCompute |
| 数据接入、同步 | Logstash、Sqoop | 阿里云数据集成、DataHub |
| 流式、实时计算 | Storm、Spark Streaming | 阿里云实时计算 |
| 图算法 | GraphX | Maxcompute Graph |
| 机器学习 | Mahout、Spark MLLib | PAI |
| 任务调度 | Oozie | Data Works |
| 数据分析及可视化 | Kibana、Grafana | Quick BI、DataV |
2.阿里云大数据计算服务MaxCompute
1.阿里云大数据计算服务MaxCompute产品的功能
- 支持多种数据类型
- 拥有强大的编译器
- 拥有较强的兼容性
- 提供丰富的拓展能力
2. MaxCompute基本操作
- 准备账号开通服务
- 创建项目空间
- 创建子账号并赋权
- 安装配置访问工具
- MaxCompute的客户端
- 创建表/数据操作——MaxCompute SQL
3.MaxCompute SQL 使用示例
--1.创建表 CREATE TABLE table_name(字段1类型 描述，字段2类型 描述...);--2.创建内部表，并指定分区字段 CREATE TABLE table_name(字段1类型 描述，字段2类型 描述...) partitioned by (分区字段1类型 描述...);--3.添加列 ALTER TABLE table_name ADD columns (列表 类型 描述，列名 类型 描述...)--4.更改表名 ALTER TABLE table_name1 RENAME TO table_name2;--5.删除表 DROP TABLE table_name IF exists table_name;--6.查询表 SELECT 字段1，字段2，...FROM table_name;
3.一站式大数据平台DataWorks
1.DataWorks 概述
- DataWorks 是基于MaxCompute计算引擎的一站式开发工场，帮助企业快速完成数据集成、开发、治理、质量、安全等全套数据研发工作。
- （1）拥有全面托管的调度
- （2）支持数据转化与同步
- （3）可视化开发
- （4）全流程监控
2.DataWorks 基本操作
- 数据产生：业务系统产生的结构化数据，通常存储在MySql、Oracle、RDS等数据库中。
- 数据收集与存储：利用MaxCompute 的海量数据存储与处理能力来分析业务数据，需要通过预设的调度过程将数据收集称和同步到MaxCompute中。
- 数据分析与处理：对MaxCompute上的数据进行加工（MaxCompute SQL、MaxCompute MR）、分析与挖掘等处理，从数据中发掘出高质量的有价值信息。
- 数据提取：将分析与处理后的结果数据，同步或导出至其他（业务）系统，为其他应用提供信息数据内容。
- 数据展现和分享：通过报表、可视化图表（如数字地图）等多种动、静态可交互图标来展现与分享大数据分析结果。
- 组织管理员（主账号）
- 项目管理员（子账号）
- 数据开发
- 部署与运维
4.BI 平台Quick BI
1.Quick BI概述（Business Intelligence）
- Quick BI阿里云旗下产品，是一个基于云计算并致力于大数据高效分析与展现的轻量级自助商业智能工具服务平台。Quick BI通过对数据源的连接和数据集的创建。对数据进行及时的分析与查询，通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。
- Quick BI 具体功能特性：
- 极速建模
- 数据分析能力
- 丰富的可视化
- 多用户协作
- 多维数据分析
- 灵活的报表集成方案
2.Quick BI基本操作
- 新建数据源
- 创建数据集
- 制作工作表、电子表格和仪表板
- 搭建数据门户
5.数据大屏Data V
具体功能
- 丰富的场景模板
- 多数据类型分析
- 图形化搭建工具
- 多分辨率适配发布
2.Data V 基本操作
- 开通服务，创建应用
- 创建模板或选择模板
- 选配或修改组建
- 配置组建属性、数据源
- 预览发布
6.机器学习平台PAI
1.机器学习平台PAI概述
阿里云机器学习平台PAI ( Platform of Artificial Intelligence ）：是构建在阿里云MaxCompute计算平台之上，集数据处理、建模、离线预测、 在线预测为一体的机器学习平台。为算法开发者提供了 丰富的MPI、PS、BSP等编程框架和数据存储接口，同时提供了基于WEB的可视化控制台，降低了使用门槛。
- 可视化建模和分布式训练
- 交互式AI研发
- 自动化建模
- 在线预测服务
2.机器学习平台PAI基本操作
- 开通服务，选择所属项目空间
- 创建模板或选择模板
- 配置数据源
- 数据建模
- 部署应用
7.构建阿里云大数据平台的数据仓库
- 数据仓库层设计
- 数据仓库物理建模
- 数据仓库开发实现
- DWS\DWB数据处理流程
- 仓库应用层ST处理流程
大数据分析与应用（中级） 大数据分析平台相关推荐
- BS1063-基于大数据分析实现个性化音乐在线推荐平台，音乐资源分析平台
本基于大数据分析实现个性化音乐在线推荐平台,音乐资源分析平台,系统主要采用java,hbase,springboot,mysql,mybatis,网络爬虫,音乐播放器,数据分析存储技术,实现基于互联网 ...
- 大数据分析与应用(中级) 数据预处理与特征工程
目录 一.数据预处理可以包括那些操作 二.数据抽样可以包含那些类型的抽样方式,每一种抽样方式的原理是什么? 1.随机抽样(Random Sampling) 2.系统抽样(Systemactic Sam ...
- 大数据分析工程师证书_CDA数据分析就业班、大数据就业班就业情况怎么样？
展开全部 关于我们学员2113的就业情况和薪资5261待遇会因就业时间和就业城市的区别4102有会不同的. 就业企业覆盖金融/互联网/教育1653/ 咨询/银行等等行业.同学如果想了解详细的情况可以与 ...
- 阿里大数据分析与应用(part2)--大数据分析的流程与常用技术
学习笔记,仅供参考,有错必纠 学习自:云中学院大数据课堂 文章目录 大数据分析流程 数据采集方法 大数据采集方法 离线数据采集ETL 实时数据采集与处理 数据预处理技术 数据集成 数据清洗 数据变换 ...
- 工业制造中的大数据分析应用_工业大数据分析方案-美林数据
认识工业大数据 什么是工业大数据? 我们先看看维基百科的说法:"工业大数据(Industrialbig data)是构成工业人工智能的重要元素,指由工业设备高速产生的大量数据,对应不同时间下 ...
- 判断图有无环_数读湾区经济潜能：基于大数据分析的环杭州湾大湾区“一体化”发展潜能！...
前言 湾区是由一个海湾或相连若干个海湾.港湾及邻近岛屿共同组成的区域.从世界湾区经济发展看,沿海湾区聚集的通常是最为发达和最具竞争力的城市群,世界著名湾区有东京湾区.纽约湾区和旧金山湾区等,湾区经济 ...
- 学习数据分析、数据挖掘、大数据ETL工程师到什么程度可以找工作?
首先: 在互联网IT技术研发运维岗存在一个用男不用女的现象,尤其是Java开发岗几乎是不招女生:大都觉得女孩在工作中的抗压和自我调节能力不够好,在项目中赶需求压力大的时候让本来就发量稀疏的头顶更是雪上 ...
- 都说大数据就业好，为什么数据分析这么难就业？
大数据和数据分析还是两个不同的方向的哈~ 大数据开发做什么? 大数据开发分两类,编写Hadoop.Spark的应用程序和对大数据处理系统本身进行开发.大数据开发工程师主要负责公司大数据平台的开发和维护 ...
- 大数据时代如何快速学会数据分析（1）
@TOC 大数据概述 自2012年以来互联网风靡全球,技术的发展推进电脑.平板.手机等其他电子产品迅速普及到个人.所谓:'不识庐山真面目,只缘身在此山中',处于这个时代的你是否了解大数据究竟是什么?为 ...
- 大数据背景下外卖饮品数据分析系统设计与实现
摘 要 无论何时何地,信息都很重要.随着万维网的飞速发展,信息以指数的形式出现爆炸式增长.当传统的信息处理延伸到互联网领域时,往往需要下载分布在各个网站本地的信息进行进一步处理.但是,当收集到大量数据 ...
最新文章
- 第八章 路由协议原理
- BZOJ2434 [Noi2011]阿狸的打字机
- python推荐书-Python 阅读书目推荐
- opencv2中访问像素的简单方法-自定义一个宏CV_MAT_ELEM2
- 一篇来自前端同学对后端接口的吐槽：痛！
- rfid射频前端的主要组成部分有_第4章 RFID的射频前端(simple).ppt
- 华岗（1977-），男，博士，宁波市智慧城市规划标准发展研究院副研究员。
- Allied Vision相机
- ModelSim 2019安装教程
- 如何关闭迅雷频繁自动弹出更新到新版本的提示
- 成都天府机场附近哪里停车便宜，成都天府机场停车攻略
- HTTP协议基础及报文抓包分析
- java中gc是什么_java什么是gc
- ASEMI快恢复二极管SFF806A的压降是多少
- 企鹅龙（DRBL）无盘启动+再生龙（clonezilla）网络备份与还原系统
- 产品定位的步骤，如何探寻市场机会、挖掘市场细分并选择目标市场
- 第2章金融市场与金融机构习题---金融学基础
- 为什么网上工商银行安装了U盾不能上网站了?
- 广告发布内容审核与广告违禁词检测工具的原理
- 分析LFC乐付链系统发展潜力