让我们先看一下这三个概念:

IOPS (Input/Output Per Second) 即每秒的输入输出量(或读写次数),是衡量存储介质性能的主要指标之一。IOPS是指每秒钟系统能处理的读写请求数量。

吞吐量(Throughput )衡量的是存储介质的数据传输速率,以MB/s为单位

带宽(Bandwidth)每秒可传输之位数,以Mbps为单位,一般是网络中的概念,也会应用到存储网络中。而存储设备中提到的带宽(Bandwidth)很多时候是指吞吐量(Throughput).

比如在EMC PowerMax的data sheet中介绍性能的描述中我们可以看出,这里的带宽其实是吞吐量

https://www.dellemc.com/en-us/collaterals/unauth/data-sheets/products/storage/h16891-powermax-family-ds.pdf​www.dellemc.com

PowerMax delivers unprecedented levels of performance with up to 10 Million IOPS2 , 150 GB per second bandwidth, and predictable response times of 290 microseconds7 for mixed workloads.

还需要了解的一个概念是IO大小(IO Size), IO Size是应用程序发起,经过操作系统的磁盘子系统,向存储系统发送的读写请求的单位大小,可以理解为系统读写操作的数据量,比如数据库的IO大小一般是8KB,即每次读写8KB的数据。

接下来我们看一下IOPS和吞吐量的关系,以UNITY 450F为例:

Dell EMC Unity 450F All-Flash Storage Review | StorageReview.com - Storage Reviews​www.storagereview.com

For peak 4K write, the Unity with compression had sub-millisecond latency until just over 31K IOPS and peaked at 34K IOPS with 9.12ms latency. RAID5 made it to roughly 100K IOPS with latency under 1ms and peaked at 107,216 IOPS with 4.16ms latency. For RAID10, there was sub-millisecond latency until around 184.7K IOPS with a peak of 185,979 IOPS with 1.09ms latency.

4KB 100%写的情况下,Unity 450F的IOPS的100K IOPS,即每秒钟系统能处理100,000次IO请求

换算为吞吐量(带宽)也很简单:

每秒100,000次4KB的数据写入,即100,000 * 4 = 400,000 KB/S,再将单位处理一下: 400,000/1024 = 390 MB/s -- 要再换算成GB/s也是可以的

那么1TB需要多久能写完呢?这就是小学数学题了,算错打板子

1TB = 1*1024 * 1024=1,048,576 MB

1,048,576 / 390 = 2,688.6564 S秒 ; 2,688.6564/60=44.8109 Min分钟

同样是Unity 450F, 我们再看一下不同IO SIZE下的IOPS和带宽

For sequential 64K write, the unity with compression made it to just north of 25K IOPS or 1.56GB/s before going over 1ms of latency; it peaked at 27,954 IOPS at 9.15ms latency and 1.74GB/s bandwidth. Both the RAID5 and RAID10 made it to about 54K IOPS or 3.3GB/s under 1ms of latency.

64KB 100%写,IOPS为54K,相对于前面我们看的4KB的IOPS 100K来说,IOPS值几乎小了一半。但是我们再看看带宽:

54,000 * 64 /1024=3375 MB/s ,带宽相对4KB却是8.6倍

所以我们能看出:

当IO size小的时候,系统需要进行频繁的操作,所以能处理更多的读写次数更加重要,这时IOPS是主要指标

当IO size大的时候,系统需要传输的数据量更多,所以带宽成了更重要的指标

[原创不易,转载请注明出处]

专栏其他技术类文章

  1. 存储大牛:Powerstore X AppsOn是什么
  2. 存储大牛:DellEMC存储PowerStore产品概述亮点简单解读
  3. 存储大牛:什么是第五代存储,分别又是哪五代?
  4. 存储大牛:闪存增寿 - Wear Leveling磨损均衡
  5. 存储大牛:存储克隆Storage Clone简介
  6. 存储大牛:华为存储 OceanStor SmartMatrix 架构
  7. 存储大牛:[存储]容量单位名词解释 - 可用容量,有效容量,TB,TiB, GB,GiB的困扰
  8. 存储大牛:华为Dorado V6初步解读
  9. 存储大牛:存储-性能,IOPS,带宽,吞吐量,1TB数据需要多久写完

爬取三千条数据需要多久_存储-性能,IOPS,带宽,吞吐量,1TB数据需要多久写完...相关推荐

  1. 爬取三千条数据需要多久_数字科学家赚多少钱?我爬取近 6 年三千份数据后发现了这些秘密...

    数字科学家究竟能赚多少钱?这大概是数据科学领域最有趣.关注度最高的一个问题了.近期,美国一位对这个问题充满好奇的数据科学家 Tony Yiu,针对数据科学家的薪资水平做了一次数据分析.他爬取了 201 ...

  2. 爬取三千条数据需要多久_只需几十行代码,Python就能轻松爬取 3000+ 上市公司的信息...

    点击关注"Python学习与数据挖掘" 更多超级干货第一时间推送给你哦!!! 入门爬虫很容易,几行代码就可以,可以说是学习 Python 最简单的途径.刚开始动手写爬虫,你只需要关 ...

  3. 实战▍Python爬取3w条游戏评分数据,看看哪款最热门?

    图| 战争前线游戏原画   本文作者| 量化小白H 本文为投稿,36大数据已获发布授权 36大数据推荐 实战项目 本文爬取了豆瓣游戏网站上所有可见的游戏评分数据进行分析,全文包括以下几个部分: 数据获 ...

  4. Python 爬取 201865 条《隐秘的角落》弹幕数据,发现看剧不如爬山?

    Python 爬取 201865 条<隐秘的角落>弹幕数据,发现看剧不如爬山? 本文不涉及剧透!请放心食用 最近又火了一步国产剧:<隐秘的角落> 如果你没看过,那可能会对朋友圈 ...

  5. Python爬取44130条用户观影数据,分析挖掘用户与电影之间的隐藏信息!

    1.前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以点击下方链接自行获取 Python免费学习 ...

  6. 爬取3w条『各种品牌』笔记本电脑数据,统计分析并进行可视化展示!真好看~...

    本文代码讲解已录成视频,欢迎扫码学习! 本文手撕代码过程 01 前言 在上一篇文章[教你用python爬取『京东』商品数据,原来这么简单!]教大家如何学会爬取『京东』商城商品数据. 今天教大家如何爬取 ...

  7. python爬取9000条京东内衣销售数据,最最最最基础的语言和语法;并利用这些数据,基于Aprior算法分析“是否罩杯大的人倾向于买贵一些的bra”

    47[TOC](爬取9000条京东内衣销售数据,最最最最基础的语言和语法,并利用这些数据,基于Aprior算法分析"是否罩杯大的人倾向于买贵一些的bra") 本人刚接触python ...

  8. python爬取考研成绩什么时候出来_用Python爬取了考研吧1000条帖子,原来他们都在讨论这些!...

    写在前面 考研在即,想多了解考研er的想法,就是去找学长学姐或者去网上搜索,贴吧就是一个好地方.而借助强大的工具可以快速从网络鱼龙混杂的信息中得到有价值的信息.虽然网上有很多爬取百度贴吧的教程和例子, ...

  9. python爬取考研成绩什么时候出来_用Python爬取了考研吧1000条帖子,原来他们都在讨论这些...

    原标题:用Python爬取了考研吧1000条帖子,原来他们都在讨论这些 写在前面 考研在即,想多了解考研er的想法,就是去找学长学姐或者去网上搜索,贴吧就是一个好地方.而借助强大的工具可以快速从网络鱼 ...

最新文章

  1. linux完美卸载mysql,Linux下彻底卸载mysql详解
  2. OpenBSD 5.2 发布
  3. 面向对象三大特性,六个原则
  4. MySQL性能优化之char、varchar、text的区别(转载)
  5. SAP Spartacus cost center list里通向detail页面的url生成逻辑
  6. html5 --- 使用javascript脚本控制媒体播放
  7. 网站后端_Python+Flask.0007.FLASK构造跳转之301跳转与302重定向?
  8. 2019/5/28 感觉吧
  9. 基础DNS服务 轮训与泛域名解析
  10. 虚拟机VMware tools安装
  11. linux脚本自动 输入命令,Linux脚本自动输入密码
  12. 统一管理所有随机启动的应用程序
  13. 笔记本电脑系统怎么重装,笔记本重装系统
  14. 【编译原理】词法分析(C/C++源代码+实验报告)
  15. 从中国近20年的发展历程看今年的就业困难
  16. 统计物理中积分计算和态密度计算要点
  17. 点餐App火爆背后的冷思考
  18. 怎么判断两个多项式互素_关于两个多元多项式互素问题
  19. Vue打包后通过springboot运行页面为空白页的解决方法
  20. 如何创建数据链接文件

热门文章

  1. .NET Core IdentityServer4实战 第Ⅴ章-单点登录
  2. 基于Dapper的开源Lambda扩展,且支持分库分表自动生成实体之基础
  3. Docker最全教程之使用Docker搭建Java开发环境(十八)
  4. .Net Core微服务系列--理论篇
  5. WebAPi的可视化输出模式(RabbitMQ、消息补偿相关)——所有webapi似乎都缺失的一个功能
  6. 用Swashbuckle给ASP.NET Core的项目自动生成Swagger的API帮助文档
  7. bat批处理笔记(二)
  8. 【BIM入门实战】Revit 图元分类有哪三种?Revit图元分类图文详解
  9. 【ArcGIS风暴】ArcGIS创建栅格数据集色彩映射表案例--以GlobeLand30土地覆盖数据为例
  10. Android(kotlin)之对一组图片数据更新最后的修改时间进行分类显示