“阿里巴巴大数据系统体系”学习笔记-纲领篇

2019独角兽企业重金招聘Python工程师标准>>>

“你是做什么的？”

“数据产品经理”看到对方一脸懵逼之后，再补充一句“大数据相关的工作”

“哦～，高大上，不懂”

过去5年，“大数据”是最火的一个概念，被纷繁解读。在我看来，数据跟石油、煤炭一样是一种资源。这种资源其实很早之前就被发现、被应用。只不过因为互联网的发展，数据这种资源呈现出了“爆炸式”的增长，而人们也发现了它巨大的潜在价值；预计到2020年，全球数据总量将超过40ZB(相当于40万亿GB)。

所以面对如此“量大”、“价值大”的资源，我们需要建立一套从数据采集、计算到服务到应用的“大数据体系”，就跟“石油体系’一样有勘探、采集、传输、加工、应用等；由此也萌生出一批“大数据体系”相关的工种。

阿里巴巴作为距离大数据最近的公司之一，既有丰富的数据资源也有丰富的应用场景，从它建构的大数据体系了解“大数据”这条生态链的全貌，我认为是比较科学的。

“阿里巴巴大数据系统体系”设计原则：满足不断变化的业务需求，同时实现系统的高度扩展性、灵活性以及数据展现的高性能。

“阿里巴巴大数据系统体系”主要分为数据采集、数据计算、数据服务和数据应用四大层次；

数据采集

Web端日志采集技术方案：Aplus.JS

APP端日志采集技术方案：UserTrack

生产业务—>大数据系统传输：

TimeTunnel(TT),既包括数据库的增量数据传输，也包括日志数据的传输；既支持实时流式计算，也支持各种时间窗口的批量计算；

数据同步工具（DataX和同步中心）直连异构数据库来抽取各种时间窗口的数据；
数据计算

MaxCompute-离线计算平台：阿里自研的离线大数据平台，拥有强大的存储和计算能力；

StreamCompute-实时计算平台：阿里自研的流式大数据平台，支持流式计算需求；

OneData-数据整合及管理体系：数据整合及管理的方法体系和工具，大数据工程师在这一体系下，构建统一、规范、可共享的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性。
数据服务

OneService-统一的数据服务平台：以数据仓库整合计算好的数据作为数据源，对外通过接口的方式提供数据服务，主要提供简单数据查询服务、复杂数据查询服务和实时数据推送服务三大特色数据服务
数据应用

数据作为新能源，需要通过合适的应用提供给用户，让数据最大化地发挥价值。应用表现可以在搜索、推荐、广告、金融、物流等各个方面。

转载：数据产品笔记本

转载于:https://my.oschina.net/u/3943837/blog/1936059

“阿里巴巴大数据系统体系”学习笔记-纲领篇相关推荐

《大数据之路阿里巴巴大数据实践》笔记
此书下载传送门http://www.java1234.com/a/javabook/yun/2018/0308/10578.html 第1章总述阿里巴巴大数据系统体系主要分为,数据采集.数据计算. ...
大数据之路书摘：走近大数据——从阿里巴巴学习大数据系统体系架构
文章目录 1.数据采集层 2.数据计算层 3.数据服务层 4.数据应用层在大数据时代,人们比以往任何时候更能收集到更丰富的数据.但是如果不能对这些数据进行有序.有结构地分类组织和存储,如果不能有效利 ...
MySQL学习笔记-基础篇1
MySQL 学习笔记–基础篇1 目录 MySQL 学习笔记--基础篇1 1. 数据库概述与MySQL安装 1.1 数据库概述 1.1.1 为什么要使用数据库 1.2 数据库与数据库管理系统 1.2.1 ...
数据库MySQL学习笔记高级篇(周阳）
数据库MySQL学习笔记高级篇 1. mysql的架构介绍 mysql简介高级Mysql mysqlLinux版的安装 mysql配置文件 mysql逻辑架构介绍 mysql存储引擎 2. 索引优化 ...
MySQL学习笔记-基础篇2
MySQL学习笔记-基础篇2 目录 MySQL学习笔记-基础篇2 8.子查询 8.1 需求分析与问题解决 8.1.1 实际问题 8.1.2 子查询的基本使用 8.1.3 子查询的分类 8.2 单行子查 ...
[mmu/cache]-ARM MMU的学习笔记-一篇就够了
★★★ 个人博客导读首页-点击此处 ★★★ . 说明: 在默认情况下,本文讲述的都是ARMV8-aarch64架构,linux kernel 64位 . 相关文章 1.ARM cache的学习笔记-一 ...
[mmu/cache]-ARM cache的学习笔记-一篇就够了
★★★ 个人博客导读首页-点击此处 ★★★ . 说明: 在默认情况下,本文讲述的都是ARMV8-aarch64架构,linux kernel 64位 . 相关文章 1.ARM MMU的学习笔记-一篇就 ...
WPF学习笔记(数据绑定篇3)
接上回的<WPF学习笔记(数据绑定篇2)>,继续 BindValidation 此示例演示了: 如何使用错误模板: 使用样式显示错误信息: 如何在校验发生异常时执行回调: 首先,你可以看见 ...
C# 学习笔记入门篇（上）
文章目录 C# 学习笔记入门篇〇.写在前面 Hello World! 这篇学习笔记适合什么人这篇学习笔记到底想记什么附加说明一.命名空间 "进入"命名空间嵌套的命名空间. ...

“阿里巴巴大数据系统体系”学习笔记-纲领篇

“阿里巴巴大数据系统体系”学习笔记-纲领篇相关推荐

最新文章

热门文章