1. Disk I/O, 硬盘IO速度

  硬盘的IO速度一直都是数据库的瓶颈,所以有条件的情况下尽可能的使用高IO的磁盘。

  可以使用微软的工具SQLIO测试磁盘的IOPS

2. CPU的主频,

  DW和传统的OLTP数据库在使用场景上不一样。

  传统的OLTP数据库具有[事务小][并发多]的特点;而DW的数据库相比较具有[事务大][并发少]的特点。

  所以对比起来,传统的OLTP数据库可以使用[低主频][多核]的硬件架构,而DW建议使用[高主频][少核]方案。

  上述都是相对情况,对于不差钱的土豪,高主频,多核当然是更好的选择。

我们可以计算的是要满足具体的业务需求,需要多少CPU(Core),多少内存。

MCR,Maximum Consumption Rate,这是一个Core的吞吐量指标

3. 计算MCR

  可以使用下面的脚本计算出当前计算机的MCR

  

USE master;-- Create a database for benchmark queries
IF EXISTS (SELECT * FROM sys.sysdatabases WHERE name = 'BenchmarkDB')
DROP DATABASE BenchMarkDB;
GO
CREATE DATABASE BenchMarkDB;
GO
USE BenchMarkDB;-- Include a heap and a table with a clustered index
CREATE TABLE heap_table
(col1 integer identity,col2 integer,col3 varchar(50));CREATE TABLE clust_table
(col1 integer identity PRIMARY KEY CLUSTERED,col2 integer,col3 varchar(50));-- Insert 100 rows to start with
DECLARE @i integer = 0;
WHILE @i < 101
BEGINSET @i = @i + 1INSERT INTO heap_table VALUES (@i, CAST(@i%5 AS varchar))INSERT INTO clust_table VALUES (@i, CAST(@i%5 AS varchar))
END;-- Now keep reinserting exponentially until the tables each contain 2 million rows
WHILE (SELECT COUNT(*) FROM clust_table) < 2000000
BEGININSERT INTO heap_tableSELECT col2, col3 FROM clust_table;INSERT INTO clust_tableSELECT col2, col3 FROM clust_table;
END;

USE BenchmarkDB
GOSELECT SUM(Col2) FROM heap_table WHERE col1 % 3 = 1
GROUP BY col3;SELECT SUM(Col2) FROM clust_table WHERE col1 % 3 = 1
GROUP BY col3;SET STATISTICS IO ON;
SET STATISTICS TIME ON;-- run these muliple times and take an average of the logical reads and CPU time
SELECT SUM(Col2) FROM heap_table WHERE col1 % 3 = 1
GROUP BY col3
OPTION (MAXDOP 1);SELECT SUM(Col2) FROM clust_table WHERE col1 % 3 = 1
GROUP BY col3
OPTION (MAXDOP 1);/* Max Consumption Rate (MCR) is the average of (logical reads / CPU time in seconds) * 8 / 1024(or put another way, the size of the table in MB / CPU time in seconds)This gives us the throughput of a coreTo estimate the no. of cores required, use the following formula:(Amount of data scanned in an average query / MCR) * Concurrent Sessions / Target response timeFor example:(18000 MB/200 MBs) * 10 users / 60s response time = 15 cores (round up to 16)   */

4. Memory内存需求

  最少1核对应4G内存,或者对每组CPU给64-128G内存

  

转载于:https://www.cnblogs.com/Niko12230/p/6114283.html

Data Warehouse Hardware - DW硬件需求计算相关推荐

  1. 参加DW(Data warehouse) 11g R2 讲师培训结束

    虽然还是不能完全安心的全部听完, 但还是知道不少的新东西,11gR2 新功能还真不少 [@more@] Introduction to data warehousing • Introduction ...

  2. 一文搞懂什么是数据仓库(Data Warehouse)数据仓库与数据库区别有哪些?什么是元数据?

    大家早上好,本人姓吴,如果觉得文章写得还行的话也可以叫我吴老师.欢迎大家跟我一起走进数据分析的世界,一起学习! 感兴趣的朋友可以关注我或者我的数据分析专栏,里面有许多优质的文章跟大家分享哦. 前期回顾 ...

  3. Azure SQL 数据库仓库Data Warehouse (3) DWU

    <Windows Azure Platform 系列文章目录> 在笔者的上一篇文章中:Azure SQL 数据库仓库Data Warehouse (2) 架构 介绍了SQL DW的工作节点 ...

  4. TDW(Tencent Data Warehouse)之hive简介

    1.     基本概念 Hive是由Facebook在2007年8月开始开发,并于2008年8月开源(https://issues.apache.org/jira/browse/HADOOP-3601 ...

  5. ISO 26262功能安全硬件指标计算实践(下):FMEDA和FTA分析计算

    在上篇文章中,我们介绍了硬件的失效种类,以及失效的数据来源,如下: ISO26262功能安全硬件指标计算实践(上):理论基础和数据来源_NewCarRen的博客-CSDN博客​在硬件度量指标计算过程中 ...

  6. SQL Server Parallel Data Warehouse (PDW) 介绍

    最近大数据概念非常火热,各个厂家都讲大数据视为未来IT的一个重要方向,因此各个厂家都想在这个领域有所作为.前几天参加了IBM大数据研讨会,会上IBM推出了他们针对于大数据的解决方案,三种一体机(Pur ...

  7. Firebolt whitepaper - 2. Firebolt cloud data warehouse

    官方文档的技术白皮书 官方文档 https://www.firebolt.io/resources/firebolt-cloud-data-warehouse-whitepaper 目录 Firebo ...

  8. 需求: 计算一下你来到这个世界多少天 拓展:改成 生日是键盘录入的 而且可以循环录入 直到录入 exit 结束循环

    效果: 请输入生日(格式:yyyy年mm月dd日): 1992年12月21日 请输入当前时间: 2017年12月12日 9123 请输入生日(格式:yyyy年mm月dd日): exit 已退出系统 p ...

  9. Windows 11 增长停滞,或与过高的硬件需求有关

    整理 | 张仕影 出品 | CSDN(ID:CSDNnews) 根据 AdDuplex 三月份的统计数据显示,Windows 10 仍然在微软的粉丝中占据主导地位. 今年 1 月,微软官方曾表示,Wi ...

最新文章

  1. Matlab下 IIR 滤波器实现(Simulink仿真和C语言实现)
  2. 大数据技术基础_【基础】大数据技术栈介绍
  3. java取number长度_Java中常用方法(NumberMath)
  4. Jeecg-boot 使用心得建议
  5. 32岁已育国企技术女,上升无望,下一步如何做?
  6. loader 编写一个android_Android之Loader理解
  7. 如果外卖APP想窃听我,有几个骚操作?
  8. 盒子阴影(HTML、CSS)
  9. win10软件拒绝访问删不掉_谷歌工程师正在解决Windows 10防病毒软件导致谷歌浏览器不稳定问题...
  10. oracle笔记(2010-1-30)
  11. 项目组织结构以及模块规划
  12. 解决导入Beautifulsoup 报错 AttributeError: 'module' object has no attribute '_base'的问题
  13. 一行 Python 代码能实现有趣功能
  14. 安卓平台下的即时通讯
  15. signature=44e925e612735a871c9c44002806d71b,英文书信格式
  16. linux 中文ssid 显示,【两招解决网络设置 支持中文SSID】
  17. Python制作微信小助手
  18. 掌握生成对抗网络(GANs),召唤专属二次元老婆(老公)不是梦
  19. 神经网络的三种训练方法,神经网络训练过程详解
  20. 智能在线客服系统源码 国际版多语言多商户智能机器人源码

热门文章

  1. 科技感的动态设计方法-1
  2. SQL Server语句大全(增删改查数据、创建表、删除表、修改表)
  3. 去IOE:去掉“IE”就Ok?
  4. ORACLE TEXT DATASTORE PREFERENCE(五)
  5. cmake 2.8.12在redhat 4.4下安装
  6. 关于线性条形码符号的解读(一)
  7. golang 防知乎 中文验证码 源码
  8. (luogu4180) [Beijing2010组队]次小生成树Tree
  9. FPGA在其他领域的应用(二)
  10. Python 标准库 —— uuid(生成唯一 ID)