分布式计算的基本概念
分布式系统的通信是关键。
0. 主从
- 主从分布式：
- 控制节点
- 工作节点
- 主从分布式的通信
- 工作节点之间没有通信；
- 控制节点与各个工作节点之间是双向通信；
- 控制节点 ⇒ 工作节点，下发任务；
- 工作节点 => 控制节点，生成新的任务统一交由控制节点管理；
- 缺陷：
- 控制节点会成为整个系统的瓶颈，容易导致整个分布式系统性能下降；
1. 计算核心数
长期以来，核心负责对处理器（processor）中的数据进行处理。共同运行的核心越多，计算机执行任务的速度越快。
- CPU 核心专为效率型应用程序等串行任务而设计，
- GPU 是为执行视频编辑、游戏和丰富的网页浏览等更多的并行和图形密集型任务而设计。
比如对于中国的天河二号，共 16,000 个运算节点，每节点配备两颗 Xeon E5 12 核心的中央处理器、三个 Xeon Phi 57 核心的协处理器（运算加速卡）。累计 32,000 颗 Xeon E5 主处理器和 48,000个Xeon Phi 协处理器，共 ？ 个计算核心。
- 32000*12 + 48000*57 = 3120000
分布式计算的基本概念相关推荐
- 关于分布式计算的一些概念
整理自<架构解密从分布式到微服务>第七章--聊聊分布式计算.做了相应补充和修改. [TOC] 前言 不管是网络.内存.还是存储的分布式,它们最终目的都是为了实现计算的分布式:数据在各个计算 ...
- 2.2.1 hadoop体系之离线计算-mapreduce分布式计算-mapreduce架构概念
目录 1.写在前面 2.为什么需要MapReduce? 3.MapReduce具体细节 3.1 Hadoop MapReduce构思: 4.block,split,map,reduce关系 5.Shu ...
- 分布式入门，怎样用PyTorch实现多GPU分布式训练
这篇文章旨在阐述训练大规模深度学习模型时的分布式计算思想. 选自 Medium,作者:Ayan Das,机器之心编译,参与:Nurhachu Null.路. 具体来讲,本文首先介绍了分布式计算的基本概 ...
- 《大规模分布式系统架构与设计实战》
<大规模分布式系统架构与设计实战> 基本信息 作者: 彭渊 丛书名: 大数据技术丛书 出版社:机械工业出版社 ISBN:9787111455035 上架时间:2014-2-21 出版日期: ...
- Mysql锁机制简单了解一下
历史文章推荐: 可能是最漂亮的Spring事务管理详解 面试中关于Java虚拟机(jvm)的问题看这篇就够了 Java NIO 概览 关于分布式计算的一些概念 一 锁分类(按照锁的粒度分类) Mysq ...
- NCCL、OpenMPI、Gloo对比
Open MPI 的Allreduce 算法实现比较丰富,并且与 MPI 接口完全一致,比较适合做 MPI 研究的同学 NCCL 可以轻松与 MPI结合使用.将MPI用于CPU到CPU的通信,将NCC ...
- big data-data mining 学习地图
1.数据挖掘介绍 1.1 数据挖掘概述 1.2 数据挖掘流程 1.3 数据.属性和度量 1.4 数据挖掘开发工具 1.5 数据挖掘学习路径 2.预备知识-数学 2.1 矩阵和线性代数 2.2 概率论和 ...
- 计算机在未来应用,浅谈未来计算机计算技术的应用与发展
在可扩展性上,集群计算对物理临近与网络延时的要求往往限制了地域分布的能力:而网格计算在设计之初往往就已提供了动态性增强的可扩展性,且由此可提供很好的高可扩展性. 尽管网格计算与集群计算之间存在很多差别 ...
- 黑马2023新版《大数据入门到实战》教程上线啦~
划重点!划重点!划重点! 2023新版<大数据入门到实战>教程 上线了!!! 本套教程一网打尽了大数据必学的 Hadoop.Hive,云平台实战项目 让零基础同学一站式入门 直通大数据核心 ...
最新文章
- 静态时序分析的概念以及约束的作用理解
- exchange 2010 日志规则应用之审计邮箱
- c# winform程序调用托管dll(c#的dll),使用添加引用和动态加载dll
- python lock_python lock一步步教你理解Python装饰器
- C#的float、double与decimal
- BZOJ 2124 等差子序列 线段树维护哈希
- Nginx的启动(start),停止(stop)命令
- android studio 自定义字体,Android Studio中的自定义字体
- oracle 9207-gt;9208(HPUX,RAC)
- 28. (附加)字符串的组合(C++版本)
- 启用zhparser插件时一直报Permission denied
- KVM 介绍（8）：使用 libvirt 迁移 QEMU/KVM 虚机和 Nova 虚机 [Nova Libvirt QEMU/KVM Live Migration]
- BootStrap运行流程解析
- 罗永浩怒怼新浪科技，或将起诉
- 第九话 树结构实际应用
- python下载音乐代码_基于Python实现下载网易音乐代码实例
- createBuilderConfig 0XFFFF异常
- ***学习笔记教程七：密码恢复
- git操作及fatal: Authentication failed for错误解决
- 关于Samsung Exynos 5420 Arndale octa board的HDMI外接显示屏问题。