SRE Google运维解密

Goolgle的生成环境介绍

1、硬件:物理服务器和软件服务器,  物理服务器和已运行任何类型的软件服务器,

物理服务器对资源管理采用集群管理系统分配资源,成为Brog。

每个物理服务器互相进行网络通信,采用虚拟网络交换机(Jupiter)这个交换机有几万个虚拟端口,Jupiter可以提供1.3Pb/s的交叉宽带。

Google的数据中心由一套全球覆盖的骨干网B4连接起来的。

B4是指基于SDN网络技术(使用OpenFlow标准协议)构建的,可以给中规模的骨干网络提供海量带宽,同时可以利用动态带宽管理优化网络连接。

物理服务器的管理软件 :Borg 是一个分布式集群操作系统。

(1)Borg负责运行用户提交的任务。该任务可以是无限运行的软件服务器,或者是批量任务,每个任务可以由一个或多个实例组成的。

由于实例和机器并没有一对一的固定对应关系,不能用IP和端口指代某一具体任务的实例。故新增加一层抽象层BNS(Borg名称解析系统),BNS负责将这个名称转换为具体的IP和端口进行连接

BNS地址可能是一个字符串:/bns/<集群名>/<用户名>/<任务名>/<实例名>   解析为 IP地址:端口

(2)Borg还负责资源分配给每个任务,每个任务都需要在配置文件中声明它需要的具体资源。Borg可以将所有的任务合理地分配到不同物理服务器上,以提高每个物理服务器的利用率,同时Borg还关注物理服务器的故障域属性。

2、存储

集群存储系统有开源的Lustre  Hadoop文件系统(HDFS)此处有图,暂时省去

3、网络

使用一个基于OpenFlow协议的软件定义网络(SDN),网络交换机控制器负责计算网络中的最佳路径。

带宽控制器(BwE)负责管理所有可用带宽。优化带宽的使用目的不仅降低成本,利用中心化的路由计算,可以解决以前在分布式路由模式下难以解决的流量迁移问题。

为了降低分布式集群的服务延迟,采用全球负载均衡(GSLB)

(1)利用地理位置进行负载均衡DNS请求

(2)在用户服务层面进行负载均衡

(3)在远程调用(RPC)层面进行负载均衡

SRE Google运维解密——第二章Goolgle的生成环境介绍相关推荐

  1. SRE Google 运维解密--管理

    一.迅速培养SRE加入on-call 在SRE团队的职责中,主动性任务和被动性任务兼有,每个SRE团队都坚守的一个重要目标是:利用积极主动的办法,去减少和限制被动性工作的产生. SRE培训课程 推荐的 ...

  2. SRE Google运维解密pdf

    下载地址:网盘下载 自动化对Google SRE 的价值 62 自动化的应用案例 63 Google SRE 的自动化使用案例 63 自动化分类的层次结构 64 让自己脱离工作:自动化所有的东西 66 ...

  3. 读SRE Google运维解密有感(一)

    第一章读后感 SRE之道的理解:创建软件系统来运行和替换传统的人工操作. 在实际工作中: 1.我们执行重复性的工作,流程话,新建项目需要那些资源,那些账号,那些权限,制作成流程,一个项目来了相关同事按 ...

  4. 《SRE Google运维解密》读书笔记

    SRE团队职责: 确保服务可以正常运转,主要方向包括: 可用性改进 延迟优化 性能优化 效率优化 变更管理 (渐进式发布) 监控 紧急事务处理 容量规则与管理 (N+2 模式,google--> ...

  5. 《SRE:Google运维解密》

    2019独角兽企业重金招聘Python工程师标准>>> 前言 问世近一年以来,<SRE: Google 运维解密>一书销量累计已两万余册.我想首先感谢各位读者对本书的支持 ...

  6. 读书笔记(SRE:Google运维解密):第22章 处理连锁故障

    连锁故障是由于正反馈循环(positivefeedback)导致的不断扩大规模的故障. 连锁故障可能由于整个系统的一小部分出现故障而引发,进而导致系统其他部分也出现故障.例如,某个服务的一个实例由于过 ...

  7. 读书笔记(SRE:Google运维解密):第27章 可靠地进行产品的大规模发布

    发布协调工程师(Launch CoordinationEngineering,LCE),LCE (a)广泛的经验 (b)跨职能的视角 (c)客观性 好的发布流程具有的一些特征: 轻量级:占用很少的开发 ...

  8. 运维自动化 第二章 openpyxl的用法,读写excel内容

    1.安装openpyxl 2.写数据 from openpyxl import Workbookwb=Workbook() #创建工作簿 wb1=wb.create_sheet('index') #创 ...

  9. SRE(运维工程师)成长路上的十本书籍推荐

    今天来整理一下自己在SRE成长路线上一些对自己帮助很大的书籍. 更多内容可以关注微信公众号"SRE说" 运维了解和入门的两本书 书籍一:<网站运维:保持数据实时的秘技> ...

  10. 一文讲透研发,SRE,运维,DevOps 的区别

    研发,SRE ,运维是工种,而 DevOps 是体系.如果拿足球来打比方,研发,SRE ,运维对应的就是前锋,中场,后卫这样的位置,而 DevOps 则是诸如 4-3-3 这样的阵型. 研发 也叫研发 ...

最新文章

  1. 关于“插入图片”等功能无法使用的问题
  2. java读取pdf文件流,系列篇
  3. JVM资源分析工具jprofiler使用简介
  4. [一天一个小知识]instanceof
  5. mysql 存byte数组中_新人求大神教教:如何把一个一维数组存入mysql 表格中
  6. js三元判断html,JS 三元条件运算符
  7. php图形验证码接口,php生成图形验证码
  8. mysql 连接 分组_MySQL 基础 (四) 分组查询及连接查询
  9. dbvisulizer 存储过程
  10. Just Say It!——DNN在语音识别系统中的应用
  11. 日记20190408 感知层数据格式
  12. java中的StringUtil.isEmpty和StringUtil.isBlank
  13. 【Python】基于Python的百度迁徙1——迁入、迁出数据(附代码)
  14. ROS中使用A星算法进行路径规划
  15. Redis进击(二)搭建Redis主从复制服务集群(一主两从、反客为主)【Windows环境】
  16. QQ浏览器劫持video标签加载自己的广告(怎么解决?)
  17. 怎样用路由器共享需要网页认证的wifi
  18. 软件工程之PERT图 (AOA与AON)
  19. ubuntu1804系统设置在哪里_ubuntu1804修改IP地址方式及脚本
  20. 浅谈示波器X-Y模式 示波器触发模式及使用

热门文章

  1. android 置灰不可点击,android 按钮置灰效果
  2. 观影计划:漫威电影宇宙「无限战争」系列
  3. IDE、SATA、SCSI、SAS、iSCSI
  4. Win10-更改c盘下的用户文件夹名
  5. 谷歌中国六月过三关 研发团队已失七将
  6. 什么是二进制,进制之间是如何转换的,浅显易懂的,一看就会
  7. ttl低电平接大电阻_谈谈上拉、下拉电阻
  8. amd超频软件LINUX,cpu超频软件amd
  9. 音响常见故障如何解决?
  10. TrueCrypt加密:TrueCrypt Format创建加密卷(1)