一、分布式学习必须掌握的几个 分布式基础概念 不知道别说你懂分布式
一、分布式基础概念
1、微服务
微服务架构风格,就像是把一个单独的应用程序开发为一套小程序,每个小程序运行在自己的进程中,并使用轻量级机制通信,通常是HTTP API。这些服务围绕业务能力来构建、并通过完全自动化部署机制来独立部署,这些服务使用不同的编程语言书写,以及不同数据存储技术,保存最低限度的集中式管理。
简而言之,拒绝大型单体应用,基于业务边界进行服务微化拆分,各个服务器部署运行。
哎、真是扯淡、看完上面一波介绍、我心里不禁来了句、都是搞技术的人、你咋就弄的跟哲学家一样,一个技术点被讲述的这么复杂。不瞒各位大美男们,我也是那么想的,所以,下面我用一个比较经典的例子来跟大家讲述一下微服务的概念。
什么叫微服务呢?
几年前,小潘同学和小徐同学想一起创业开家汉堡店。小徐同学负责程序开发,小潘同学负责招商引资其他事宜。当时互联网还没有现在这么发达,网上超市还是蓝海。只要功能实现了就能随便赚钱。所以他们的需求很简单,只需要一个网站挂在公网,用户能够在这个网站上浏览商品、购买商品;另外还需一个管理后台,可以管理商品、用户、以及订单数据就大概可以了。
大概需要实现的功能就是下面几个功能:
网站:
1、用户注册、登录功能
2、商品展示
3、下单
管理后台:
1、用户管理
2、商品管理
3、订单管理
由于需求简单,在小潘同学出去打个酱油的世界,小徐同学就把网站给搞定了。小徐同学挥了挥手就找了阿里的云服务把网站挂上去了。之后就好评如潮,深受各种肥仔喜爱。而小潘同学就美滋滋地开始躺着收钱。随着中国汉堡业的发展、越来越多的创业者加入到这个行业、导致小徐同学的汉堡店竞争越来越激烈。大量涌入的竞争者给小徐的汉堡店造成了巨大的冲击。
在市场竞争的压力下,小徐同学决定开展一些营销手段:
开展促销活动。比如元旦全场打折,春节买二送一,情人节狗粮优惠券等等。
拓展渠道,新增移动端营销。除了网站外,还需要开发移动端APP,微信小程序等。
精准营销。利用历史数据对用户进行分析,提供个性化服务。
……
这些活动都需要程序开发的支持。小徐同学拉了同学小红加入团队。小红负责数据分析以及移动端相关开发。小徐同学负责促销活动相关功能的开发。
小徐同学将整个业务系统分解成了
1、用户服务、
2、商品服务、
3、促销服务、
4、订单服务、
5、数据仓储服务、
6、。。。。。
每个不同的服务都是一个独立的模块、而且都有自己独立的数据库。分工明确。这些不同的服务组合在一家就成了一个大的系统。
2、集群和分布式
集群是个物理形态,分布式是个工作方式。只要是一堆机器,就可以叫做集群,他们是不是一起协作干活。这个谁也不知道。
分布式是指将不同的业务分部在不同的地方、集群是将几台服务器集中在一起实现统一业务。举个例子来说:
京东是一个分布式系统、众多的业务运行在不同的机器,所有的业务构成一个大型的业务集群。每一个小的业务。比如用户系统,访问压力大的时候一台服务器是不够的,我们就应该将用户系统部署到多个服务器,也就是每一个业务系统也可以做集群化。
分布式的每一个节点都可以做集群,但是集群并不一定就是分布式的。
这里的节点是指集群中的每一个服务器。
3、远程调用
在分布式系统中,各个服务可能处于不同主机,但是服务之间不可避免需要互相调用,我们称为远程调用。SpringCloud中使用HTTP+JSON的方式完成远程调用。
远程调用的方式有:
1、套接字调用
2、RPC服务调用
3、Web Service调用
4、Web API调用:SpringCloud的调用方式
4、负载均衡
分布式系统中,A服务需要调用B服务,B服务在多台机器中都存在,A调用任意一台服务器均可完成功能。
为了使每一个服务器都不要太忙或者太闲,我们可以负载均衡的调用每一个服务器。提升网站的健壮性。这里可以理解为皇上翻牌子。
常见的负载均衡算法:
轮询:为第一个请求选择健康池中的第一个后端服务器,然后按顺序从前往后选择,直到最后一个,然后循环你。
最小连接:优先选择连接数量少,也就是压力最小额后端服务器,在会话较长的情况下可以考虑这种方式。
散列:根据请求源的ip的散列来选择要转发的服务器,这种方式可以一定程度保证特定用户能连接到相同的服务器,如果你的应用需要处理状态而要求用户能连接到和之前的相同的服务器,可以考虑采取这种方式。
5、服务注册、发现:注册中心
可以使用Netflix Eureka 和nacos,现在应该用nacos比较多。
A服务调用B服务,A服务并不知道B服务当前在哪几台服务器有,哪些正常的,哪些服务上线了。解决这个问题我们需要服务注册中心。将所有的服务都注册到这个注册中心。如果服务下线,我们其他人可以实时的感知到其他服务的状态,从而避免不可用的服务。
6、配置中心
每一个服务最终都有大量的配置。并且每个服务可能部署在多条服务器上,我们经常要更改配置,我们可以让每个服务在配置中心获取自己的配置。配置中心用来集中管理微服务的配置信息。
7、服务熔断和服务降级
在微服务结构中,微服务之间通过网络进行通信,存在互相依赖,当其中一个服务不可用时候有可能会出现雪崩效应,要防止这种情况,必须要有容错机制来保护服务。
服务熔断:设置服务的超时,当被调用的服务经常失败到达某个领域时候,我们可以开启断路保护机制,后来的请求不再去调用这个服务。本地直接返回默认的数据。
服务降级:在运维期间,当系统处于高峰期,系统资源紧张,我们可以让非核心企业服务降级运行。降级,某些服务不处理,或者简单处理。
8、API网关
在微服务架构中,API gateway 作为整体架构的重要组件,它抽象了微服务中都需要的公共功能。同时提供了客户端负载均衡,服务自动熔断。灰度发布。统一认证,限流流控,日志统计等丰富的功能。帮助我们解决很多API管理难题
9、了解更多、关注我。也可以私信我。一起进行技术交流,一起进步。我这边也有项目一起学习
一、分布式学习必须掌握的几个 分布式基础概念 不知道别说你懂分布式相关推荐
- 学习计算机视觉,你必须了解的基础概念
原文 1 图像的高频和低频成分 形象一点说:亮度或灰度变化激烈的地方对应高频成分,如边缘:变化不大的地方对于低频成分,如大片色块区画个直方图,大块区域是低频,小块或离散的是高频把图像看成二维函数,变化 ...
- ADC学习系列(一):ADC基础概念
本章主要是进行ADC的基础概念学习,从模拟和数字信号进行入手,分析各自的优缺点和应用场合,从而引出数模转换的重要性.紧接着提到了ADC部分最重要的奈奎斯特采样定理,了解采样频率和被测信号频率之间的关系 ...
- 少样本学习(一):了解一些基础概念
Few-shot learning(少样本学习)和 Meta-learning(元学习)概述 参考:Few-shot learning(少样本学习)和 Meta-learning(元学习)概述_Cao ...
- python从入门到精通学习笔记_Python从入门到精通之基础概念
编码 默认情况下,Python 3 源码文件以 UTF-8 编码,所有字符串都是 unicode 字符串. 当然你也可以为源码文件指定不同的编码: # -*- coding: cp-1252 -*- ...
- 浅谈分布式学习(SGD)中提高速率的方法
背景: 在分布式学习中,如下图所示,将深度学习中的梯度计算任务分成n份,交给n个从机进行计算,再将计算后的梯度返还到主机,用于模型的更新,这样计算的速度相比于单个主机进行计算,速率得到大大提升.尤其是 ...
- 分布式学习笔记---分布式系统的回顾与简介
分布式学习笔记-分布式系统的回顾与简介 1. 分布式系统概念 分布式系统是一个硬件或软件组件分布在不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统. 通俗的理解,所谓分布式系统,就是一 ...
- 联邦学习、分布式学习、协作学习
@[TOC]联邦学习.分布式学习.协作学习 (一)联邦学习与分布式学习的区别 最大的区别应该就是**「中心服务器」对其他「计算节点」的控制权不同**.但具体来说,它们有以下几点不同之处: 中心服务器对 ...
- 什么是分布式系统?分布式学习入门基础
一.什么是分布式系统 分布式系统是由一组通过网络进行通信.为了完成共同的任务而协调工作的计算机节点组成的系统.分布式系统的出现是为了用廉价的.普通的机器完成单个计算机无法完成的计算.存储任务.其目的是 ...
- 《深度学习进阶:自然语言处理》第2章 自然语言和单词的分布式表示
<深度学习进阶:自然语言处理>第2章 自然语言和单词的分布式表示 第2章 自然语言和单词的分布式表示 2.1 什么是自然语言处理 2.2 同义词词典 2.2.1 WordNet 2.2.2 ...
最新文章
- 面向Mobile device的CNN模型手工设计与NAS分析总结,MobileNet V1,V2,V3,Efficient,MNasNet以及Efficient network design
- Git 技术篇-GitHub免费私有库设置方法实例演示,GitHub私有库时代来临
- 拜托,别再问我什么是堆了!
- 文本文件写java_Java 读/写文件文本文件的示例
- DropBox 超实用的免费文件网络同步、备份、分享工具
- SharePoint 2010 WSP包部署过程中究竟发生什么?
- CentOS7下安装Redis — 单节点
- Java集合转化为数组
- VSCode设置命令行终端为Git
- kafka修改默认端口号
- go的空接口三种用法
- vue 打印出git提交信息_VUE项目构建打包生成Git信息(VERSION和COMMITHASH文件)
- X-UA-Compatible IE=edge,chrome=1
- 怎样将Win10自带的Photos查看器的背景色改成白色?
- xz1刷Android10,索尼xz1国行版安卓9.0固件
- 基于MATLAB的车牌识别系统
- C语言结构体,共用体所占字节数计算
- python蓝屏_plt.绘图()导致windows出现蓝屏
- angular实现双向绑定
- 一个经常玩电脑的人应该知道的:电脑快捷键