《信息存储理论》笔记
关键字<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" /> |
详细说明 |
磁盘响应时间及优化 |
寻道(毫秒级)+旋转(毫秒级)+传输(微秒级) 提高磁盘性能的重点:在于减少寻道时间,所以RAID对随机读写的性能提高很小。 |
提高外存储系统性能 |
1, 从磁盘角度:减少寻道时间(提高移臂速度,减小盘片直径,多磁头),减少旋转时间(提高转速,多磁头),提高数据传输率(接口速率) 2, 优化调度算法(请求的合并,聚散IO) 3, Cache,prefetch 4, 存储设备的并行(RAID,分布式存储) |
RAID |
1, 三个出发点:性能,容量,可靠性 2, 软RAID, 硬RAID(是否占用主机资源, md模块, RAID卡) 3, RAID的读写,并发等由分条(各个磁盘上叫段)大小决定。 当段较小时(如RAID3),上层每次请求涉及到每个磁盘(或大部分磁盘),难以实现并发,当这样数据读写可以多个盘同时进行(通常主轴同步,节省的是传输时间),连续读写的时,节省寻道时间,能极大的提高性能,随机读写时,寻道时间得不到优化,单单节省数据传输时间对性能影响不大。 当段较大时(如RAID5),上次每次请求设计很少的磁盘,这样上层多个请求就能实现并发。 4,RAID5的RCW(重构写)与RMW(读改写),后者适合于小写 |
磁盘的三种状态 |
1, Active 13W+ (正在进行数据服务) 2, Idle 10W+ (空闲) 3, Standby 2W+ (休眠) |
系统节能原理及策略 |
1, 如果有充分的时间供休息,就去休息(如系统的休眠状态) 2, 如果有很多机会,但每次休息时间都很短,则充分利用短的时间干正事(提高performance/energy???)或调班以集中休息时间(省去switch时间) 策略: 1, 负载预测:在任务到来前,由standby—>active,节能且不影响系统服务,如基于历史信息的预测) 2, 降级:在不影响系统正常工作的情况下,把等待时间变成工作时间,如降低CPU频率,降低硬盘转速 3, 让更少的部件active去完成任务(将资源转移) A gear-shifting power-aware RAID |
Power-aware policy |
Power-aware caching, power-aware IO scheduling(给IO加上是否可以延时的属性,以延长休息时间) 将驱动器分组管理,分为active drivers, passive drivers |
冗余的数据+ 空闲的资源 |
纵向冗余:cache 横向冗余:RAID,分布式系统副本, 备份,快照,CDP Anything is a trade-off of time and space? |
RAID重建 |
写时系统掉电,磁盘损坏等会导致RAID中某个或多个磁盘的数据不可用。 RAID写的两种方式:RCW, RMW, 后者必须保证磁盘上原有的数据及校验数据是正确的,即必须进行初始化。 RAID初始化方法:全写0,并计算校验写入校验盘 |
重建优化策略 |
1, 基于热点的重建(PRO):热点数据优先重建,减少磁头移动时间,减少IO请求的延迟,加快重建速度 2, 基于日志的重建:初始化全部数据为0,存储空间的空闲达50%,用日志记录修改过的条带,重建的时候只重建修改过的部分 3, 基于IO负载重定向(workout):将所有的写和热点的读重定向到代理盘 |
NFS与CIFS共存 |
1, 添加windows上的NFS客户端软件 2, 在NFS上仿真CIFS服务器(如samba) |
FC |
物理层: 1,1-8Gb/s的传输速度 2,铜线,光纤都可做为其传输介质 链路层: 1, 字符编码及FC帧结构 2, 链路层流量控制(端到端,缓存到缓存) 3, MTU可到2112字节,而以太网MTU为1500字节 网络层: 1, 拓扑(Arbitral Loop,一个loop最多接128个节点),P2P ,Fabric(交换式) 2, 寻址:WWNN,WWPN, Fabric ID(Domain ID, Area ID, Port ID) 传输层: 1, 对上层的数据流进行segment,区分上层应用程序 2, 适配上层协议 七种端口类型: 1, N端口:FC终端设备(交换式)端口 2, F端口:FC交换机端口 3, L端口:仲裁环终端端口 4, NL端口:具有N和L端口的双重能力 5, Fl端口: 具有F和L端口的双重能力 6, E端口: 连接交换机与交换机间的端口(级联) 7, G端口:万能端口 |
Panasas |
减少RAID重建方法: 1, 减小校验组(额外空间开销与在线重建时间的折中) 2, 分散校验组元素放置 3, 并行重建 Panasas将长度为4的校验组分散到8个盘(每个校验组的数据不会重复出现在一个盘),以空间换时间,以提高整体的效率。 上层应用决定底层架构,参数,如分块大小(GFS为64M,Panasas为64K) Panasas特性: 1, 并行冗余OSD 2, Per-file RAID(根据文件大小及可靠性要求的不同采用不同的RAID方式) 3, 动态负载均衡(创建时条带化文件,主动的数据迁移) 4, 支持12000+ clients,100+ MDSs, 1000+ OSDs 5, Client-driven RAID 客户端计算校验数据,减小服务器负载 6, 多级元数据管理 块级:负责对象到物理块的映射 文件级:负责文件到对象的映射 系统级:数据方式管理 |
转载于:https://www.cnblogs.com/yunnotes/archive/2013/04/19/3032518.html
《信息存储理论》笔记相关推荐
- 《信贷的逻辑与常识》笔记
序 银行信贷风险管理的反思 现状与趋势 银行贷款的质量变化与经济周期.宏观调控政策等存在很高的相关性 现在银行不良贷款的增加主要是前几年经济快速增长时企业过度投资.银行过度放贷所带来的结果. 从历史情 ...
- AI公开课:19.02.27周逵(投资人)《AI时代的投资逻辑》课堂笔记以及个人感悟
AI公开课:19.02.27周逵(投资人)<AI时代的投资逻辑>课堂笔记以及个人感悟 目录 课堂PPT图片 精彩语录 个人感悟 课堂PPT图片 精彩语录 更新中-- 文件图片已经丢失-- ...
- 人工智能入门算法逻辑回归学习笔记
逻辑回归是一个非常经典的算法,其中也包含了非常多的细节,曾看到一句话:如果面试官问你熟悉哪个机器学习模型,可以说 SVM,但千万别说 LR,因为细节真的太多了. 秉持着精益求精的工匠精神不断对笔记进行 ...
- 【逻辑回归学习笔记】
算法描述 1.逻辑回归要做的事就是寻找分界面实现二分类. 2.问题假设:对一堆三角形和正方形分类. 3.数据输入:已知正方形和三角形的坐标和标签. 4.算法过程: 知识储备 1.分类和回归 ①分类的目 ...
- 逻辑回归函数学习笔记
继续逻辑回归学习,今日笔记记录. 1.逻辑回归和线性回归的关系:对逻辑回归的概率比取自然对数,则得到的是一个线性函数,推导过程如下. 首先,看逻辑回归的定义 其次,计算两个极端y/(1-y),其值为( ...
- 2.2 逻辑回归-机器学习笔记-斯坦福吴恩达教授
逻辑回归 上一节我们知道,使用线性回归来处理 0/1 分类问题总是困难重重的,因此,人们定义了逻辑回归来完成 0/1 分类问题,逻辑一词也代表了是(1) 和 非(0). Sigmoid预测函数 在逻辑 ...
- LVM逻辑卷分区笔记
磁盘的静态分区有其缺点:分区大小难评估,估计不准确,当分区空间不够用的时候,系统管理员可能需要先备份整个系统,清除磁盘空间,然后重新对磁盘进行分区,然后恢复磁盘数据到新分区,且需要停机一段时间进行恢复 ...
- 适合理工直男的钟平老师逻辑英语学习笔记
一切的一切都只是套路! --鲁迅 核心公式: En: (状语1) 主(定语1) 谓(状语2) (宾)(定语2) (状语1) Ch: (状语1) (定语1)主 (状语2)谓 (定 ...
- 【数字逻辑】学习笔记 第四章 Part2 常用组合逻辑电路与竞争、险象
文章目录 一.常用组合逻辑电路 1. 译码器 (1) 二进制译码器 74LS138(3/8译码器) a. 一般符号和图形符号 b. 74LS138功能表 c. 两片 `74LS138` 构成 `4-1 ...
- 线性回归、逻辑回归学习笔记
学习源代码 import numpy as np import matplotlib.pyplot as plt def true_fun(X): # 这是我们设定的真实函数,即ground trut ...
最新文章
- 没有找到borlandmm.dll 报错的解决方法
- 《MongoDB权威指南》读书笔记 第一章 简介
- 20. A *p=NULL,p 可以调用 A 类里面的函数嘛?
- 带标签的循环语句、switch
- 使用 Tye 辅助开发 dotnet 应用程序
- Express 结合 multer 上传图片
- iptable 详解
- 操作系统—数组的定义和存储结构
- 部署java的tcp服务端_java网络编程(TCP)-服务端
- 多线程之线程范围内的数据共享ThreadLocal
- 那些年,我们一起追过的seo培训!
- 中国的程序员工资为什么那么高?
- chatter个人理解
- 米兰大学计算机科学,米兰大学
- 解决“com.android.dex.DexIndexOverflowException: method ID not in [0, 0xffff]: 65536”问题
- TDD双工方式保护时隙与通信距离的关系
- [xhr4412][extension 4] u-boot-2020.07 DM9621 网卡驱动移植
- 重读《由C#风潮想起的-给初学编程者的忠告》有感 (转载)
- 用EasyRTSPServer模拟摄像机RTSP流实现RTSP摄像机模拟器
- 【量化交易01】CTA策略 菲阿里四价+空中花园策略
热门文章
- System类的常用方法及类字段
- jQuery easyUI--tabs选项卡面板
- usb管控软件_记账软件新外设:PUPUPULA 智能存钱罐登陆众筹
- 第一行代码学习笔记第六章——详解持久化技术
- java命令运行class文件提示错误:找不到或无法加载主类
- 机械硬盘低级格式化软件_低级比高级安全?磁盘格式化要保护秘密
- 2.1 《数据库系统概论》关系数据结构及形式化定义(关系、关系模式、关系数据库)
- linux下编写时钟代码,Linux时间子系统之一:clock source(时钟源)【转】(示例代码)...
- 2021年,Java开发者值得学习的13项技能
- 正则表达式 php 模板,PHP中正则表达式回顾(4)--编写一个非常简单而且山寨的smarty模板引擎...