文章目录

MPP是什么
- SMP- Symmetric Multi-Processor 对称多处理器结构
- NUMA -Non-Uniform Memory Access 非一致存储访问结构
- MPP -Massive-Parallel Processing 海量并行处理架构
MPP DB
- - Share Disk
- - Share Nothing
典型MPP DB
- Greenplum
- Teradata
- Impala
- Presto
- ElasticSearch
- Vertica
MPP架构的应用场景
- 搜索架构
- 查询服务

学习笔记：大数据架构详解：从数据获取到深度学习

MPP是什么

系统架构层面的服务器分类，如下三类：

SMP- Symmetric Multi-Processor 对称多处理器结构

特点
Uniform Memory Access
共享存储：cpu,内存，io
不足
扩展能力有限
内存总线限制访问内存的效率

NUMA -Non-Uniform Memory Access 非一致存储访问结构

特点
拥有多个CPU模块，每个模块由多个CPU组成，有独立的本地内存，io槽口
节点之间通过互联模块进行连接和信息交互:同一台物理服务器内部实现，cpu异地访问时必须等待
较好解决SMP系统的扩展问题
不足
互联模块访问效率和本地内存访问不在一个效率层级，系统性能无法和cpu数线性增加

MPP -Massive-Parallel Processing 海量并行处理架构

另一种系统扩展的方式

特点
- SMP组合的方式：每台SMP服务器（节点）通过节点互联网络连接。
  节点互联网络：MPP内部使用，对用户透明，在不同SMP服务器外部通过IO实现，每个节点只访问本地内存和存储，节点信息交互和节点本身是并行处理的。
- 每个节点只访问本地资源（内存，存储），Share Nothing结构。
- 对等节点：所有数据节点角色一样。可以提升并行计算能力
- 汇总节点：数据汇总节点的稳定性，可用性影响整体的性能
不足
- 复杂的机制来调度和平衡各个节点的负载和并行处理过程。
- 短板效应。
  如果一个节点总是执行的慢于集群中其他的节点，整个集群的性能就会受限于这个故障节点的执行速度(所谓木桶的短板效应)，无论集群有多少节点，都不会有所提高。
  当MPP系统中某个节点的RAID由于磁盘问题导致的性能很慢，或者硬件或者系统问题带来的CPU性能问题等等，都会产生这样的问题。所有的MPP系统都面临这样的问题。
- MPP集群规模不能过大。
- 并发度不能过高，数据查询汇总节点的并发查询数限制在10+数量级，用户数有限制。

MPP DB

- Share Disk

使用独立的cpu,内存，，共享硬盘系统，不存在数据同步问题，有存储瓶颈问题
OracleRac

- Share Nothing

水平扩展灵活，元数据同步、故障恢复问题

典型MPP DB

了解MPP的架构特点，再来看看有代表性的一些产品，是不是有一种大同小异、豁然开朗的感觉。

Greenplum

PostgreSQL的基础上、MPP架构
关系型分布式数据仓库
兼容Hadoop生态，-》HAWQ,存储层改用HDFS.

架构
大规模存储
Hash分片，表分区：数据到各个Segment Host
并行处理
支持索引
B-Tree
Bitmap
Hash

Teradata

暂无了解,原理细节及使用介绍参考这位仁兄的文章

Impala

Presto

Distributed SQL Query Engine for Big Data

官方文档

presto目标定位
Presto is a tool designed to efficiently query vast amounts of data using distributed queries. If you work with terabytes or petabytes of data, you are likely using tools that interact with Hadoop and HDFS. Presto was designed as an alternative to tools that query HDFS using pipelines of MapReduce jobs such as Hive or Pig, but Presto is not limited to accessing HDFS. Presto can be and has been extended to operate over different kinds of data sources including traditional relational databases and other data sources such as Cassandra.

Presto was designed to handle data warehousing and analytics: data analysis, aggregating large amounts of data and producing reports. These workloads are often classified as Online Analytical Processing (OLAP).
presto组件
presto使用
presto 与 Impala区别

ElasticSearch

es版本变更很快，与java spring体系集成方面，产生了一些第三方组件库，
比较高效的一种方案参考 bboss

Vertica

Vertica 采用无共享的MPP 架构，基于工业标准的x86 服务器，拥有高可扩展性。
Vertica 集群中的所有节点100%对等，集群中没有主节点或其他共享资源，详细资料见百度百科的介绍

MPP架构的应用场景

搜索架构

查询服务

client节点，数据汇总节点（协调节点），并行计算节点。

协调节点也是集群中任意同构的计算节点，其性能、稳定性、可用性决定了集群的整体表现。

MPP与Batch的优缺点比较

MPP架构是什么？看这一篇就行了。。相关推荐

CompletableFuture使用详解（全网看这一篇就行）
Java8 CompletableFuture 用法全解_孙大圣666的博客-CSDN博客_completablefuture CompletableFuture使用详解(全网看这一篇就行)_代 ...
Prettier看这一篇就行了
点击上方关注前端技术江湖,一起学习,天天进步作者:陈龙 https://zhuanlan.zhihu.com/p/81764012 已获取作者授权,请勿未经允许转载. 0.前言用了两年 Pret ...
变身Go运维架构师，看这一篇就够了！
2020年马哥Go运维开发架构师学习路线图共八个阶段的学习:GO核心编程--数据库处理--Web开发框架--多云管理平台--用户管理平台--监控报警系统--发布系统--Docker与K8S. 本文为第 ...
C站学习导航，想用CSDN学习看我这篇就行了！
大家好,我是辣条. 作为C站的博主,相信大家感受到了文章热榜上的"恐怖如斯",最低都是万字长文起步,热榜前几的文章都是几万字的,博主也是苦不堪言,文章字数上去了,质量却没有上去,你 ...
使用anaconda安装pytorch——看这一篇就行了
开门见山我的电脑里有python编译器如何装pytorch框架? 答--用anaconda进行安装翻阅了n多的文章发现一个真理看得越多越容易出问题那这里我针对每一个需要实现的目的只放一 ...
异常你看这一篇就行了，全程白话很好理解（完结撒花）
什么是异常? 异常其实说白了,就是程序中可能出现的问题,Jvm告诉你,你去解决. 其实从1995年java就在一直收集各种各样的异常问题,java把这一个个异常变成对象.jvm读到异常,创建一个对象, ...
学会Linux，看完这篇就行了！
【系统架构设计师】软考高级职称，一次通过，倾尽所有，看完这篇就够了，论软件架构设计的重要性、本篇论文“未通过考试”，供分析参考
[系统架构设计师]软考高级职称,一次通过,倾尽所有,看完这篇就够了,学习方法和技巧这里全都有. 论软件架构设计的重要性.本篇论文未通过考试(不合格),供分析参考. 目录摘要正文结尾摘要 201 ...
【系统架构设计师】软考高级职称，一次通过，倾尽所有，看完这篇就够了，方法和技巧这里全都有。
目录背景报考条件通过率考试时间要求系统架构设计师考试内容证书的价值备考建议报班&自学分享下我的自学方法必胜法宝分享我考试的心态 [系统架构设计师]软考高级职称,一次通过, ...

MPP架构是什么？看这一篇就行了。。