并行计算（二）：并行模型的分类

一、Flynn分类法
single instruction multiple data(SIMD):GPU,专注于单一任务，并具有很高的效能；
multiple instruction multiple data(MIMD):CPU，同时及处理多个不同的任务，但是系统复杂的也随之升高；
其他类型（不常见）：SISD(单核处理器），MISD。

二、从内存的角度分类
1.共享内存：多个CPU共享一个存储空间
2.分布式内存：微机集群，超级计算机（注重计算性能），数据中心（注重数据的存储，调度，服务）
对于后者，不同的处理器对应不同的存储空间，相互不共享。当一个处理器要使用其他处理器对应的存储数据时，需要通过网络进行沟通。

三、从编程模型的角度分类
1.shared memory编程模型：Pthread(低级，偏底层）, OpenMP（高级，不用考虑细节）
2.message passing编程模型：MPI。通过编写MPI程序，在不同设备的任务之间（如微机集群）完成信息的发送、接收等操作，如下图：

编写MPI最常见的bug是send和receive不匹配。

多数情况下编程模型与硬件架构相互匹配，也可以说，并行程序编程模型是对硬件的抽象。一般来讲，前者对应于shared memory machine, 后者对应于distributed memory machine。但实际上，编程模型与硬件架构也可以是不匹配的。

并行计算（二）：并行模型的分类相关推荐

PGM学习之二 PGM模型的分类与简介
废话:和上一次的文章确实隔了太久,希望趁暑期打酱油的时间,将之前学习的东西深入理解一下,同时尝试用Python写相关的机器学习代码. 一 PGM模型的分类通过上一篇文章的介绍,相信大家对PGM的定义 ...
【Python深度学习】基于Tensorflow2.0构建CNN模型尝试分类音乐类型(二)
前情提要基于上文所说基于Tensorflow2.0构建CNN模型尝试分类音乐类型(一) 我用tf2.0和Python3.7复现了一个基于CNN做音乐分类器.用余弦相似度评估距离的一个音乐推荐模型. ...
TensorFlow2.0(二)--Keras构建神经网络分类模型
Keras构建分类模型 1. tf.keras简介 2. 利用tf.keras构建神经网络分类模型 2.1 导入相应的库 2.2 数据读取与展示 2.3 数据归一化 2.4 构建模型 2.5 模型的编 ...
深入css布局 (1) — 盒模型元素分类
深入css布局(1)-- 盒模型 & 元素分类 " 在css知识体系中,除了css选择器,样式属性等基础知识外,css布局相关的知识才是css比较核心和重要的点.今天我们来深 ...
PyTorch框架学习二十——模型微调（Finetune）
PyTorch框架学习二十--模型微调(Finetune) 一.Transfer Learning:迁移学习二.Model Finetune:模型的迁移学习三.看个例子:用ResNet18预训练模 ...
python回归分析预测模型_在Python中如何使用Keras模型对分类、回归进行预测
姓名:代良全学号:13020199007 转载自:https://www.jianshu.com/p/83ba11abdffc [嵌牛导读]: 在Python中如何使用Keras模型对分类.回归进行 ...
Factorization Machines 学习笔记（二）模型方程
近期学习了一种叫做 Factorization Machines(简称 FM)的算法,它可对随意的实值向量进行预測.其主要长处包含: 1) 可用于高度稀疏数据场景:2) 具有线性的计算复杂度.本文将对 ...
Py之scikit-learn：机器学习sklearn库的简介、六大基本功能介绍(数据预处理/数据降维/模型选择/分类/回归/聚类)、安装、使用方法(实际问题中如何选择最合适的机器学习算法)之详细攻略
Py之scikit-learn:机器学习sklearn库的简介(组件/版本迭代).六大基本功能介绍(数据预处理/数据降维/模型选择/分类/回归/聚类).安装.使用方法(实际问题中如何选择最合适的机器学 ...
Python二手车价格预测（二）—— 模型训练及可视化
系列文章目录一.Python数据分析-二手车数据获取用于机器学习二手车价格预测二.Python二手车价格预测(一)-- 数据处理文章目录系列文章目录前言一.明确任务二.模型训练 1.引入 ...

并行计算（二）：并行模型的分类

并行计算（二）：并行模型的分类相关推荐

最新文章

热门文章