教你如何使用SPEC CPU2006
因为工作原因陆陆续续接触到SPEC的测试，由于此项测试相对门槛高一些，测试周期长，网上靠谱的资料不多，遂将自己的测试经验总结下来跟大家分享。
本文只涉及到一些基本的测试知识，欢迎有经验的朋友补充，交流~
0 工具介绍
SPEC是标准性能评估公司（Standard Performance Evaluation Corporation）的简称。SPEC是由计算机厂商、系统集成商、大学、研究机构、咨询等多家公司组成的组织，这个组织的目标是建立、维护一套用于评估计算机系统的标准。
在早些年，业界使用的是其上一个版本SPEC CPU 2000。和SPEC CPU 2000一样，SPEC CPU 2006包括了CINT2006和C FP2006两个子项目，前者用于测量和对比整数性能，而后者则用于测量和对比浮点性能，SPEC CPU 2006中对SPEC CPU 2000中的一些测试进行了升级，并抛弃/加入了一些测试，因此两个版本测试得分并没有可比较性。
SPEC CPU测试中，测试系统的处理器、内存子系统和使用到的编译器（SPEC CPU提供的是源代码，并且允许测试用户进行一定的编译优化）都会影响最终的测试性能，而I/O（磁盘）、网络、操作系统和图形子系统对于SPEC CPU2006的影响非常的小。
SPEC CPU 2006 benchmark是SPEC新一代的行业标准化的CPU测试基准套件。重点测试系统的处理器，内存子系统和编译器。这个基准测试套件包括的SPECint基准和SPECfp基准。 其中SPECint2006基准包含12个不同的基准测试和SPECfp2006年基准包含19个不同的基准测试。SPEC设计了这个套件提供了一个比较标准的计算密集型，高性能的跨硬件的CPU测试工具。在SPEC CPU 2006基准有几种不同的方法来衡量计算机性能。 一种方式是测量计算机完成单一任务的速度; 另一种方式吞吐量，容量或速率的测量。 说明：由于spec2006支持多种类型操作系统。以下安装、测试、移植等介绍均基于Unix 和其他的 Unix-like system如linux。Windows系统不在此范围内。
tips1 ：SPEC CPU 2006 是收费工具。
之前在某些文章或论坛下面看到求资源的，建议如果是要做相关CPU测试的话，付费购买，或者向你们的供货商索要吧~
tips2：选择正确的SPEC 安装包
SPEC CPU 2006 跟不同的CPU适配后的工具，所以说x86下的源码包不能再MIPS下运行，MIPS的也不能在ARM下运行，基本概念，给刚接触的人提醒一下。
1 安装和编译
安装和编译分为两种情况：一对于源码，是需要安装和编译的；另一种是在相同环境下编译好的安装包，拷贝过来解压后即可运行使用。
以Ubuntu 16.4为例子，介绍源码的安装和编译过程。
安装
首先下载CPU2006到本地，一般会下载到镜像文件，解压之后可以找到install.sh
tips3：SPEC CPU2006没有安装目录的要求。
~$ ./install.sh
SPEC CPU2006 Installation
Top of the CPU2006 tree is '/media/*/SPEC_CPU2006v1.1'
Enter the directory you wish to install to (e.g. /usr/cpu2006)
/home/myname/cpu2006
Installing FROM /media/*/SPEC_CPU2006v1.1
Installing TO /home/myname/cpu2006
Is this correct? (Please enter 'yes' or 'no')
yes
...
之后等待安装完成，到此安装过程结束。
编译
根据文档，在使用之前需要先配置环境。CPU2006中已经集成了配置环境的方法，只需要执行一条命令就可以完成配置操作
source ./shrc
每次重新打开terminal的时候，都需要先运行该命令，之后才可以正常使用。
在编译工具之前，我们首先需要进入config文件夹，根据自己的需要，复制一份已有的配置文件模板作为自己使用的文件，例如
cp Example-linux64-amd64-gcc43.cfg my.cfg
例如我们只需要测试int型的CPU性能，我们可以执行以下操作：
runspec --config=my.config -T base --action=build int
2 运行
运行的方式很简单，即通过runspec 命令+相应的参数，执行相应的测试。以下面的测试命令为例，介绍SPEC测试。
runspec -config=XX.cfg -size=ref -r 4 -tune=base -noreportable -o text,screen,pdf -I -iterations=3 all
0）配置文件：XX.cfg，配置文件中可以包含上述命令的所有信息，但是runspec命令的优先级高。此文件在spec的解压目录下，由 提供的cfg文件修改而来。
1）测试规模：ref（测试规模有test,ref,train其中test最小跑的时间最短，如果测试编译器正确性的时候可以用test规模，但是想测试性能时候用ref）
2）测试次数：iterations=3次（编译器性能稳定时候测一次就行），也可以写成n 3;
tips4：如果想得到加权统计的结果，也就是常说的cpu的spec分数，需要设置iterations大于等于3。
3）测试范围: all 表示进行fp和int测试（将all替换成int 或 fp 进行定点和浮点的测试；将all替换成456/444等文件编号，表示对某一测试项进行单独测试）
对于CPU的SPEC测试，默认这一项是all，但是对于其中的某一项测试分数不满意，可通过指定此测试项的编号，进行单独测试。测试也会得到一个分数，做单项的性能调优时候，可以用得到。
4）输出格式：-o text,screen,pdf 表示测试完成，生成报告的格式，依次分别是txt,屏幕显示和pdf格式，保存目录在spec解压目录result中。
5）noreportable && reportable : 表示检测/不检测生成的二进制文件是否修改过。
--reportable 如果原来生成的二进制文件被修改了，则运行时会自动重新编译生成二进制文件，确保运行的程序是原始的程序。
6）测试核数：-r 设置测试的CPU核心数目；
7）测试模式：-tune = base 基准测试；-tune = peak 峰值测试；-tune默认是base 可以选择base, peak, or all ，Report 首先是base,其次是peak.
8）-I : 表示测试中，如遇报错，略过错误继续测试；
3 常用测试参数
上面给出了例子，介绍了主要的测试参数配置。下面给出一组常用的测试命令及意义。
a．runspec -c test.cfg -i test -I all 基于最小测试数据集快速执行所有的测试，测试过程中如果某个用例发生错误，则跳过错误用例，继续执行其他用例。一般不用于不用于正式测试，验证环境是否有问题。
b．runspec -c test.cfg -i ref -n 3 -I all 基于最大测试数据集全面执行所有的测试，用于测试单核CPU，测试过程中如果某个用例发生错误，则跳过错误用例，继续执行其他用例。
c．runspec -c test.cfg –r ref –n 3 fp 基于最大测试数据集，只运行fp测试
d．runspec -c test.cfg –r ref –n 3 int 基于最大测试数据集，只运行int测试
e.runspec -c test.cfg -i ref 473.astar 基于最大测试数据集只执行473.astar单个测试。
f runspec –c test.cfg –i ref --rate 4 int 基于最大数据测试集进行rate测试，运行4线程测试的分值
其他命令补充
--action build 创建测试项目 --action onlyrun 只是运行，不进行确认测试结果是否正确 --action report 标准测试 --action clean 清理已经建立的测试项目
tips5：SPEC CPU2006测试的时间很长，举例来说龙芯3A3000三遍浮点测试的时间24小时左右，测试不可中断。
tips6：SPEC CPU2006测试时候，需要一定的硬盘空间，建议大于等于20GB；
4 测试结果
测试结束后在result目录下，查看测试结果，测试结果一般以测试类型和测试次序进行区别，并且会按照整点和浮点进行划分。如果是按照正式reportable的模式进行测试的话，会出一份网页版的正式测试结果，参见下图： 非正式结果可以去asc或txt文档查看，格式例如下文：
Base Base Base Peak Peak Peak Benchmarks Ref. Run Time Ratio Ref. Run Time Ratio -------------- ------ --------- --------- ------ --------- --------- 400.perlbench 9770 430 22.7 S 9770 339 28.8 S 400.perlbench 9770 429 22.8 * 9770 338 28.9 S 400.perlbench 9770 429 22.8 S 9770 339 28.8 * 401.bzip2 9650 559 17.3 * 9650 552 17.5 * 401.bzip2 9650 559 17.3 S 9650 553 17.5 S 401.bzip2 9650 560 17.2 S 9650 552 17.5 S 403.gcc 8050 374 21.5 S 8050 337 23.9 S 403.gcc 8050 367 22.0 * 8050 337 23.9 S 403.gcc 8050 366 22.0 S 8050 337 23.9 * 429.mcf 9120 187 48.9 S 9120 187 48.9 S 429.mcf 9120 188 48.6 * 9120 188 48.6 * 429.mcf 9120 211 43.2 S 9120 211 43.2 S 445.gobmk 10490 559 18.8 S 10490 542 19.4 S 445.gobmk 10490 559 18.8 S 10490 542 19.4 * 445.gobmk 10490 559 18.8 * 10490 541 19.4 S 456.hmmer 9330 213 43.8 S 9330 213 43.7 * 456.hmmer 9330 247 37.8 S 9330 214 43.6 S 456.hmmer 9330 214 43.5 * 9330 213 43.7 S 458.sjeng 12100 616 19.6 * 12100 574 21.1 * 458.sjeng 12100 617 19.6 S 12100 575 21.0 S 458.sjeng 12100 585 20.7 S 12100 574 21.1 S 462.libquantum 20720 14.2 1460 * 20720 14.2 1460 * 462.libquantum 20720 14.4 1440 S 20720 14.4 1440 S 462.libquantum 20720 13.5 1540 S 20720 13.5 1540 S 464.h264ref 22130 578 38.3 * 22130 527 42.0 S 464.h264ref 22130 579 38.2 S 22130 526 42.0 * 464.h264ref 22130 578 38.3 S 22130 526 42.0 S 471.omnetpp 6250 349 17.9 S 6250 288 21.7 * 471.omnetpp 6250 348 17.9 * 6250 288 21.7 S 471.omnetpp 6250 348 18.0 S 6250 289 21.7 S 473.astar 7020 313 22.4 S 7020 313 22.4 S 473.astar 7020 311 22.6 S 7020 311 22.6 S 473.astar 7020 311 22.6 * 7020 311 22.6 * 483.xalancbmk 6900 174 39.7 * 6900 170 40.7 S 483.xalancbmk 6900 174 39.6 S 6900 170 40.5 S 483.xalancbmk 6900 174 39.7 S 6900 170 40.6 * ============================================================================== 400.perlbench 9770 429 22.8 * 9770 339 28.8 * 401.bzip2 9650 559 17.3 * 9650 552 17.5 * 403.gcc 8050 367 22.0 * 8050 337 23.9 * 429.mcf 9120 188 48.6 * 9120 188 48.6 * 445.gobmk 10490 559 18.8 * 10490 542 19.4 * 456.hmmer 9330 214 43.5 * 9330 213 43.7 * 458.sjeng 12100 616 19.6 * 12100 574 21.1 * 462.libquantum 20720 14.2 1460 * 20720 14.2 1460 * 464.h264ref 22130 578 38.3 * 22130 526 42.0 * 471.omnetpp 6250 348 17.9 * 6250 288 21.7 * 473.astar 7020 311 22.6 * 7020 311 22.6 * 483.xalancbmk 6900 174 39.7 * 6900 170 40.6 *SPECint(R)_base2006 36.7SPECint2006 39.1
此结果来源于网络，可以看出定点峰值测试结果（peak） 36.7分；定点基准测试结果36.7分。
本人实测的龙芯3A3000,单核浮点8-9分，多核浮点26-28分。龙芯3A4000测试结果要好蛮多，可见国产CPU还是取得了不小的进步。
5 具体测试项目
Spec int2006 12个整点测试项目
400.perlbench：C语言编写，同spec2000的253.perlbmk类似，是Perl V5.8.7版本的删减版，同样删除了一下操作系统特性有关的东西，增加了第三方的模块，如：SpamAssassin V2.61,Digest-MD5 v2.33,HTML-Parser v3.35,MHonArc V2.6.8,IO-stringy V1.205,MailTools V1.60，TimeDate V1.16。400.perlbench采用3个脚本进行增加负载或工作。1.主要的负载在于打开 垃圾邮件过滤软件SpamAssassin。采取的过滤方式是采用记分制，也就是说会根据我们所设定的标准来给予分数超过标准值的时候即判定为 SPAM（垃圾邮件），其余为非垃圾邮件。但对SpamAssassin软件做了很大程度的修改，避免一些I/0操作，并且没有使用贝叶斯过滤。2.是比较流行的email到HTML的转换器MHonArc 3.使用了spec2006的工具套件specdiff。
401.bzip2: C语言实现，同spec2000的256.bzip2类似,基于Julian Seward的bzip2 v1.03.唯一的不同是SPEC中的bzip2除了输入外，无文件I/O。所有的压缩和解压都在内存中进行。输入，输出都和gzip的相似。负载包括六个部分：两个小的JPEG图片、一个程序、一个tar包起的几个源程序文件、一个HTML文件、混合文件，包括压缩起来的高可压缩文件及不怎么可压缩的文件。测试分别使用了三个不同的压缩等级进行压缩和解压缩
403.gcc:C语言实现，同spec2000的176.gcc类似。该测试是基于gcc V3.2,为AMDCPU生成机器码。相比spec2000的176.gcc，该测试有更多的输入文件，因此测试压力会更大，负载来源于对9组C代码进行编译。
429.mcf:C语言实现，同时需要libm库支持，同spec2000的181.mcf类似，MCF是一个用于大型公共交通中的单站车辆调度的程序。但对输入文件做了一定的修改，由32位变成64位，用以兼容64位系统。并且增加了cache命中和程序的性能。相比spec2000的181.mcf来说，占用的内存由之前的100M-190M变为860M-1700M。
445.gobmk：C语言实现，同spec2000的186.crafty类似。不同的是这里是实现的围棋游戏。相比spec2000程序更复杂。
456.hmmer：C语言实现。HMMER是基于隐马尔可夫模型(profile HMMs)，用于生物序列分析工作。同Timed HMMer Search 类似。
458.sjeng：C语言实现。基于一种象棋游戏Sjeng11.2，属于人工智能的范畴。
462.libquantum:C语言实现（C99）。libquantum是模拟量子计算机的库文件，用来进行量子计算机应用的研究。
464.h264ref:C语言实现。一种视频压缩程序，基于H264AVC 9.3版，去除了I/O和平台相关的东西。
471.omnetpp:C++语言实现。OMNeT++，离散事件仿真。包括约8000台计算机和900个交换机/集线器，以及混合了各种从10Mb到1000Mb速率的大型CSMA/CD协议以太网络模拟。
473 astar：C++语言实现，实现了2D寻路算法A*的三种不同版本。
Spec fp2006 17个浮点测试项目
410.bwaves：Fortran 77语言实现，流体力学范畴。对三维瞬跨音速粘性流中冲击波的模拟计算
416.gamess：Fortran语言实现，量子化学范畴。采用GMAESS组件，包含 胞嘧啶分子、水和Cu2+离子、三唑离子等3种SCF自洽场计算。
433.milc：C语言实现，量子力学范畴，采用MILC组件，包含用来研究QCD量子色动力学、夸克及胶子的四维SU(3)格点规范理论的模。
434.zeusmp ：Fortran 77/REAL*8语言实现，属于计算流体力学范畴，ZEUS-MP程序，用来计算理想、非相对论条件下的流体力学和磁流体力学，434.zeusmp模拟计算了一个统一磁场中的3D冲击波。
435.gromacs ：C & Fortran语言实现，属于生物化学/分子力学范畴。GROMACS是一个分子力学计算套件，然而也可以用于非生物系统，435.gromacs模拟了在一个水和离子溶液中的蛋白质溶菌酶结构在各种实验手段如核磁共振的X光照射下的变化。
436.cactusADM：Fortran 90, ANSI C语言实现，物理中的广义相对论。来源于Cactus BenchADM。436.cactusADM对时空曲率由内部物质决定的爱因斯坦演化方程进行求解，爱因斯坦演化方程由10个标准ADM 3+1分解的二阶非线性偏微分方程组成。
437.leslie3d ：Fortran 90语言实现，属于流体力学范畴。 LESlie3d是用来计算湍流的计算流体力学程序，437.leslie3d计算了一个如燃油注入燃烧室的时间分层混合流体。
444.namd：C++语言实现。属于生物/分子学范畴。NAMD是一个大型生物分子系统并行计算程序，444.namd模拟了了92224个原子组成的A-I载脂蛋白
447.dealII：C++语言实现。进行有限元分析，w/Boost lib 、deal.II lib、deal.II是定位于自适应有限元及误差估计的C++库，447.dealII对非常系数的亥姆霍兹方程进行求解，它使用了基于二元加权误差估计生成最佳网格的自适应方法，该方程在3维得解。
450.soplex:C++语言实现。采用Plex v1.2.1程序，Plex使用单纯形算法解线性方程
453.povray：ISO C++ 语言实现。 POV-Ray POV-Ray是一个光线追踪渲染软件，453.povray渲染一幅1280x1024的反锯齿国际象棋棋盘图像
454.calculix：Fortran 90 & C语言实现，结构力学范畴。CalculiX是一个用于线性及非线性三位结构力学的有限元分析软件，454.calculix计算了一个高速旋转的压缩盘片在离心力的作用下的应力和变形情况
459.GemsFDTD：Fortran 90语言实现。属于电磁学范畴。 459.GemsFDTD使用FDTD（有限差分时域）方法求解三维时域中的麦克斯韦方程，计算了一个理想导体的雷达散射截面
465.tonto： Fortran 95实现。量子化学范畴Tonto是一个面向对象的量子化学程序包，465.tonto计算面向量子晶体学，它基于一个符合X光衍射实验数据的、约束的分子Hartree-Fock波函数
470.lbm ：ANSI C语言实现。 470.lbm使用LBM（格子波尔兹曼方法）模拟非压缩流体，它模拟了两种情况：类似活塞推动的剪切驱动流体和管道流体，测试包含了3000个步骤
481.wrf ：Fortran 90 & C语言实现。WRF v2.0.2 481.wrf基于WRF(Weather Research and Forecastin)模型，对NCAR的数据进行了计算，数据包括了UTC 2001.06.11到UTC 2001.06.12以三小时为间隔的数据
482.sphinx3：C语言实现。Sphinx-3一种语音识别软件。
教你如何使用SPEC CPU2006相关推荐
- 基准测试spec cpu2006
最近在研究gem5,nvmain, 并将nvmain集成到gem5里面,然后用基准测试spec cpu2006进行测试.之前一直找不到基准测包,现在终于找到了,在此写下实验过程. 我的系统是ubunt ...
- 性能服务器电池,纽扣电池触点四路64核服务器整机的SPEC CPU2006性能
MPE Garry BAT6244 / BAT6247电池触点的应用包括小型设备,例如智能设备(LED.烟雾和热探测器.支付解决方案等).消费设备(例如汽车钥匙.追踪设备.主板缓冲器等),以及医疗设备 ...
- spec cpu2006结果都需要取哪些值
1.值的规律:多核比单核值大,整型比浮点值大.值越大越好,对Ratio的17个值进行几何平均值,内存数应该是CPU核数的2倍,8核CPU应该插总数为16G的内存,否则多核数缺失,计算出来低或者不出分. ...
- SPEC CPU2006 Benchmark Descriptions
本文档关于 SPEC2006 Benchmarks 的介绍. SPEC2006 Benchmarks 介绍官方文档链接: https://www.spec.org/cpu2006/publicatio ...
- 【转载】]基于RedHatEnterpriseLinux V7（RHEL7）下SPEC CPU 2006环境搭建以及测试流程 介绍、安装准备、安装、config文件以及运行脚本介绍...
https://www.codetd.com/article/1137423 <版权声明:本文为博主原创文章,未经博主允许不得转载> 本次利用SPECCPU2006测试工具来进行Intel ...
- SPEC CPU简介和使用
前言 SPEC CPU是一套行业标准的CPU密集型基准测试套件.SPEC设计了此套件,以使用实际用户应用程序开发的工作负载,在最广泛的实际硬件范围内提供计算密集型性能的比较度量.这些基准作为源代码提供 ...
- 基于RedHatEnterpriseLinux V7（RHEL7）下SPEC CPU 2006环境搭建以及测试流程（之一）——介绍、安装准备、安装、config文件以及运行脚本介绍
<版权声明:本文为博主原创文章,未经博主允许不得转载> 本次利用SPECCPU2006测试工具来进行Intel CPU Xeon E7-**** v4的测试以及调优,计划在机器I840-G ...
- spec服务器性能测评,SPEC CPU 2006测试运算性能_服务器评测与技术-中关村在线
SPEC CPU 2006是SPEC组织推出的一套CPU子系统测试工具,它包括CINT2006和CFP2006两个子项目,前者用于测量和对比整数性能,而后者则用于测量和对比浮点性能.计算系统中的处理器 ...
- linux运行在RISC上面,linux - 如何在riscv64 linux上运行SPEC CPU 2006？ - 堆栈内存溢出...
我有一个使用qemu模拟运行的riscv64 linux(fedora 28). [gqb@stage4 cpu2006]$ uname -a Linux stage4.fedoraproject.o ...
最新文章
- SAP WM初阶之移动类型设置里的Additional Data?
- sphinx索引分析续
- 网络传输大端序_基于大端法、小端法以及网络字节序的深入理解
- linux内核态串口读写程序,linux 0.11 内核学习 -- rs_io.s，串口汇编代码
- java 方法执行结束局部变量释放_JAVA-方法在执行过程中，JVM的内存分配和变化情况，栈（stack）的情况浅析...
- LM3S1138驱动函数SysCtlPeripheralEnable解析
- Python线程指南
- Apollo 10 — adminService 全量发布
- 完全弄懂C++中的构造与析构函数
- Centos7 Kubernetes(k8s) 开发服务器(单服务器)部署 mariadb/mysql 数据库
- python学习_Python学习 基础篇完结
- php 修改pdf文件内容,pdf中怎么擦掉某些内容
- ubuntu20.04安装matlab2018b
- r语言lm函数找不到对象_怎么才能查看R语言某个包某函数源码？
- 计算机能够快速准确,计算机操作练习题
- Loj #2585. 「APIO2018」新家
- 《看完就懂系列》15个方法教你玩转字符串
- RESTful API常用的HTTP请求方法
- K8S架构常用组件核心资源
- 浙江财经大学java试卷_揭秘！听说浙江财经大学期末卷是——