(文献研读)ContainerCloudSim：云数据中心中容器建模和仿真的环境

ContainerCloudSim是在CloudSim的基础上进行改进的产品，也称为CloudSim 5.0,其在CloudSim 3.0的基础上增加了容器调度策略的研究（具体不再介绍，请看我的第一篇介绍），值得注意的是，在本人学习云计算和容器的时候，容器其实时分为了两种不同的放置方式，一种是ContainerCloudSim里面的container-vm-pm的架构，即将容器放置在虚拟机上，将虚拟机放置在物理机上，还有一种当然就是直接将容器放置在虚拟机上，而ContainerCloudSim其实是采用了第一种的放置方式，由于我是在看这篇文章看代码学习的ContainerCloudSim的，所以后面看完这篇文章，我发现我压根就没学会ContainerCloudSim，所以如果你真的打算做仿真实验或者拿ContainerClouSim做实验，我建议你可以看看这篇文章

参考文献

Piraghaj S F, Dastjerdi A V, Calheiros R N, et al. ContainerCloudSim: An environment for modeling and simulation of containers in cloud data centers[J]. Software: Practice and Experience, 2017, 47(4): 505-521.

相关工作（各种仿真器）

仿真器	仿真功能	可扩展功能	参考文献
MDCSim	用于对多层数据中心进行深入分析。对数据中心组件的底层硬件特性进行建模，并估计数据中心的功耗。吞吐量和响应时间被视为性能指标，数据中心的拓扑结构由网络包以有向图的形式提供。MDCSim帮助云用户检查不同的资源配置，以提高web应用程序的性能，	不可扩展（且商用化）	[5]. Lim SH, Sharma B, Nam G, Kim EK, Das CR. MDCSim: a multi-tier data center simulation, platform. Proceedings of the 2009 IEEE International Conference on Cluster Computing and Workshops, New Orleans, LA, 2009; 1–9.
GDCSim	专门用于帮助服务提供商在部署前测试不同数据中心物理设计和资源管理算法对功耗的影响。	可扩展（可以添加新的功耗、资源管理和冷却模型）	[6].Gupta SKS, Banerjee A, Abbasi Z, Varsamopoulos G, Jonas M, Ferguson J, Gilbert RR, Mukherjee T. GDCSim: a simulator for green data center design and analysis. ACM Transactions on Modeling and Computer Simulation 2014; 24(1):3:1–3:27.
CloudSim	可扩展的云模拟工具包开发的，能够对云系统和应用程序供应环境进行建模和模拟。该工具包提供云计算组件（如虚拟机（VM）、数据中心和用户）的系统和行为建模。它还支持在云计算环境中评估资源调配策略。	实现的通用应用程序调配技术可以通过有限的努力轻松扩展。它还支持单个和跨网络云（云联合）的建模和仿真，并公开le 用于实现策略和虚拟机资源调配技术的自定义接口。	[2].Calheiros RN, Ranjan R, Beloglazov A, De Rose CA, Buyya R. CloudSim: a toolkit for modeling and simulation of cloud computing environments and evaluation of resource provisioning algorithms. Software: Practice and Experience 2011; 41(1):23–50.
SPECI	关注云数据中心的可扩展设计。此外，它还能够测试故障和恢复机制。能够探索未来数据中心的可扩展性和性能特性。SPECI的目标是模拟以大小和中间件设计策略作为输入的数据中心的性能和行为。	可扩展	[7]. Sriram I. SPECI, a simulation tool exploring cloud-scale data centres. In Cloud Computing, vol. 5931, Jaatun M, Zhao G, Rong C (eds)., Lecture Notes in Computer Science. Springer-Verlag: Berlin, Heidelberg, 2009; 381–392.
GroudSim	基于Java的模拟工具包，专门用于模拟网格和云基础设施上的科学应用程序执行。GroudSim为用户提供模拟后的基本统计和分析。与SPECI类似，GroudSim中的故障可以建模并与后台负载和成本模型集成。	可扩展，支持计算和网络组件、作业提交和文件传输的建模	[8].Ostermann S, Plankensteiner K, Prodan R, Fahringer T. GroudSim: an event-based simulation framework for computational grids and clouds. Proceedings of the 2010 Conference on Parallel Processing, Euro-Par 2010, Springer-Verlag, Berlin, Heidelberg, 2011; 305–313.
DCSim	旨在研究基础设施即服务云部署模型中的动态资源管理技术。DCSim中引入的关键功能包括多层应用程序模型以及虚拟机（VM）之间交互和依赖关系的建模。VM复制是DCSim中可用的另一项功能，用于处理工作负载的增加。	可扩展	[9]. Tighe M, Keller G, Bauer M, Lutfiyya H. DCSim: a data centre simulation tool for evaluating dynamic virtualized resource management. Proceedings of the 2012 8th International Conference on Network and Service Management (CNSM) and 2012 Workshop on Systems Virtualiztion Management (SVM), Las Vegas, NV, 2012; 385–392.
GloudSim	基于第二版Google traces虚拟化技术（VMs）开发的分布式云模拟器。能够模拟复制作业的资源利用率，使其尽可能接近跟踪中的真实值。能够精确模拟不同的事件类型，例如基于跟踪数据集的kill/execute。可以模拟比原始跟踪更复杂的情况，调查云计算环境中资源管理的挑战。		[10]. Di S, Cappello F. GloudSim: google trace based cloud simulator with virtual machines. Software: Practice and Experience 2015; 45(11):1571–1590
iCanCloud	旨在预测在云数据中心执行的一组应用程序的成本和性能之间的权衡。可供不同的用户使用，包括基本云用户和分布式应用程序开发人员。基于SIMCAN，提供了一个图形用户界面，使用户能够执行实验。此外，它对机器之间的网络通信进行建模，支持并行仿真；因此，一个实验可以跨多台机器执行。	提供了一个可扩展、快速且易于使用的工具，帮助用户在考虑预算限制的情况下快速获得结果。	[12]. Nez A, Vzquez-Poletti J, Caminero A, Casta G, Carretero J, Llorente I. iCanCloud: a flexible and scalable cloud infrastructure simulator. Journal of Grid Computing 2012; 10(1):185–209.
CloudAnalyst	支持应用程序工作负载描述，包括用户数量、数据中心和云资源以及用户和数据中心的位置。可供应用程序开发人员或测试人员使用，以确定可用云数据中心之间资源的最佳战略分配。可以根据应用程序工作量和可用预算从战略上选择数据中心。基于CloudSim扩展，并提供了一个图形界面		[13]. Wickremasinghe B, Calheiros R, Buyya R. CloudAnalyst: a cloudsim-based visual modeller for analysing cloud computing environments and applications. Proceedings of the 2010 24th IEEE International Conference on Advanced Information Networking and Applications (AINA), Perth, WA, 2010; 446–452.
TeachCloud	由CloudSim通过MapReduce应用程序模型和集成的综合工作负载发生器或调用的Rain进行了扩展得到。它支持各种云组件的实验，包括处理元素、存储、网络和数据中心。还支持一个图形界面，支持构建和实现定制的网络拓扑。提供了VL2网络拓扑模型。		[14]. Jararweh Y, Alshara Z, Jarrah M, Kharbutli M, Alsaleh MN. TeachCloud: a cloud computing educational toolkit. International Journal of Cloud Computing 2013; 2(2-3):237–257. PMID: 55269
CDOSim	将CloudSim扩展到响应时间、SLA冲突和云部署选项（CDO）成本的模型。CDOSim面向云用户端，而不是调查云提供商端的问题。用户行为可以通过从生产监控数据中提取的工作负载配置文件来提供。可以模拟任何应用程序，只要它可以按照知识发现元模型（KDM）建模。每秒百万条指令（MIPS）单位的概念被细化为百万整数加每秒指令（MIPIPS）单位。CDOSim集成在云迁移框架CloudMIG[17]		[15]. Fittkau F, Frey S, Hasselbring W. CDOSim: simulating cloud deployment options for software migration support. 2012 IEEE 6th International Workshop on the Proceedings of the Maintenance and Evolution of Service-Oriented and Cloud-Based Systems (MESOCA), Trnto, 2012; 37–46 [17] Frey S, Hasselbring W. Model-based migration of legacy software systems into the cloud: The CloudMIG approach. Softwaretechnik-Trends 2010; 30(2):84–85.
NetworkCloudSim	扩展了CloudSim，以提供可扩展的网络和通用应用模型。它支持具有通信元素的应用程序，包括消息传递接口（MPI）和工作流。为云数据中心设计了网络流模型，实现了带宽共享。	扩展的开发方式是，用户只需修改配置文件即可修改网络拓扑。	[18]. Garg SK, Buyya R. NetworkCloudSim: modelling parallel applications in cloud simulations. Proceedings of the 2011 Fourth IEEE International Conference on Utility and Cloud Computing (UCC), Victoria, NSW, 2011; 105–113.
GreenCloud	在NS2模拟器的基础上开发的数据包级模拟器。GreenCloud专门设计用于研究电源管理方案，以实现节能数据中心。这些方案包括电压和频率缩放，以及网络和计算组件的动态关闭。它可以捕获数据中心计算和网络组件能耗的详细信息。它还考虑了网络组件之间的分组级通信模式。		[19]. Kliazovich D, Bouvry P, Khan S. GreenCloud: a packet-level simulator of energy-aware cloud computing data centers. The Journal of Supercomputing 2012; 62(3):1263–1283.
PureEdgeSim	这也是一个基于CloudSim进行改进的仿真器，主要用于研究云计算、边缘计算、云边协同和雾计算的仿真器，其中包括了一系列的图形界面，这个我之前的文章中有介绍，这里就不累赘了	扩展性不太好	看之前文章

ContainerCloudSim等仿真器与CloudSim之间的关系如上图所示

具体功能和构造

ContainerCloudSim提供的功能如下：

容器、虚拟机、主机和数据中心资源（包括CPU、内存和存储）的管理接口。特别是，它应该提供基本的功能，例如向容器提供vm、动态监视系统状态以及控制容器内的应用程序执行。
使研究人员能够插入并比较新的容器调度和资源调配策略的功能。容器调度策略确定如何将资源分配给容器和虚拟机，并且可以扩展以允许评估新策略。
资源调配算法的节能资源分配能力研究。模拟环境应提供可用于评估能源感知供应算法的基本模型和实体。为此，必须支持容器迁移和整合。
支持模拟可扩展性，因为CaaS环境中的容器数量远高于数据中心中的虚拟机数量。

ContainerCloudSim遵循与CloudSim相同的分层体系结构，并进行了必要的修改以引入容器的概念。在提议的ContainerCloudSim体系结构中（如图4所示），CAA由集装箱化云数据中心、主机、虚拟机、容器和应用程序及其工作负载组成。为了有效管理CAA，该体系结构受益于多个层次：

ContainerCloudSim模拟器体系结构如上所示[彩色图片可在wileyonlinelibrary.com上查看]

工作负载管理服务：该服务负责客户端的应用程序注册、部署、调度、应用程序级性能和运行状况监视。
集装箱生命周期管理服务：该服务负责集装箱生命周期管理。这包括创建容器并在系统中注册它们，启动、停止、重新启动容器，以及将容器从一台主机迁移到另一台主机，或者销毁容器。此外，该组件还负责管理容器内运行的任务的执行，并监控其资源利用率。
虚拟机生命周期管理服务：该服务负责虚拟机管理，包括虚拟机创建、启动、停止、销毁、迁移和资源利用率监控。
资源管理服务：该服务管理在主机/虚拟机上创建虚拟机/容器的过程，以满足其资源需求和其他放置约束，如软件环境。它包括三项主要服务：
- 容器放置服务：根据此服务中定义的容器分配策略将容器分配给VM。
- VM 放置服务：根据VM放置服务中定义的VM分配策略，将VM分配给主机。
- 整合服务：该服务通过将容器整合到最少数量的主机来最小化资源碎片。
资源分配服务：该服务管理向VM和容器分配资源。它包括以下服务：
- 容器分配服务：此服务配备了确定如何将VM资源分配（调度）到容器的策略
- VM分配服务：此服务配备了确定主机资源如何分配（调度）到VM的策略。
功耗和能耗监测服务：该服务负责测量数据中心主机的功耗，并配备必要的电源型号。
数据中心管理服务：该服务负责管理数据中心资源、打开和关闭主机电源以及监控资源的利用率。

为了实现上述功能，CloudSim离散事件模拟器核心用于提供基本的离散事件模拟功能和基本云计算元素的建模。因为CloudSim实体和组件通过消息传递操作进行通信，所以核心层负责管理事件和处理组件之间的交互。ContainerCloudSim的主要类别如图5所示。在本节中，我们将详细介绍这些类。ContainerCloudSim实现由模拟元素和模拟服务两个主要部分组成。模拟元素包括以下内容：

Datacenter:云服务的硬件层通过数据中心类进行建模。
Host：Host类表示物理计算资源（服务器）。它们的配置被定义为以MIPS（每秒百万条指令）、内存和存储为单位的处理能力。
VM：此类为VM建模。虚拟机由主机管理和托管。VM的属性是内存、处理器及其存储大小。
Container：此类为VM托管的容器建模。容器的属性包括可访问内存、处理器和存储大小。
Cloudlet：Cloudlet类为托管在云数据中心容器中的应用程序建模。Cloudlet长度定义为百万条指令（MI），它具有CloudSim包中其前身的功能，包括开始时间和执行状态（如取消、暂停和恢复）。
VM Provisioning：虚拟机资源调配策略将CPU核心从主机分配给虚拟机，被视为主机类的一个字段。与CloudSim类似，主机组件实现的接口为实现CPU核心管理的类提供建模和仿真。例如，虚拟机可以分配专用的核心（将核心固定到虚拟机），也可以与主机中的其他虚拟机共享核心。
Container Provisioning：模拟器在两个级别提供容器配置：VM级别和容器级别。在VM级别，指定了分配给每个容器的VM总处理能力。而在容器级别，容器可以为其上承载的每个应用程序服务分配固定数量的资源。为了实现与CloudSim的兼容性，任务单元被认为是托管在容器中的应用程序服务的更精细的抽象。在当前版本的ContainerCloudSim中，时间共享和空间共享的资源调配策略在这两个级别都得到了实现（如图6所示）。此外，ContainerRamProvisioner是一个抽象类，表示用于将虚拟机内存分配给容器的资源调配策略。只有当ContainerRamProvisioner组件确保VM具有所需的可用内存量时，容器才能托管在VM上。如果容器请求的内存超出VM的可用可用内存，则ContainerRampProvisioner将拒绝该请求。为了提供带宽，名为ContainerBwProvisioner的抽象类为提供容器带宽的策略建模。此组件的作用是处理网络带宽分配到一组竞争容器。此类可以扩展为包含新策略，以包括各种应用程序的需求。CPU的供应策略由ContainerScheduler定义，它是一个抽象类，由VM组件实现。通过覆盖此类的功能，可以实现更多特定于应用程序的处理器共享策略。已实现的供应策略包括：空间共享策略和时间共享策略，这个在我以后会介绍。
CloudletScheduler：应用程序（称为Cloudlet）和容器之间保持着容器和VM之间的关系。CloudletScheduler抽象类可以扩展以实现不同的算法，以确定在容器中运行的Cloudlet之间的处理能力份额。ContainerCloudSim包中包括两种类型的资源调配策略，即时间共享（ContainerCloudletSchedulerTimeShared）和空间共享（ContainerCloudTschedulerSpaceShared）策略。
CloudInformationService：CloudInformationService（CIS）类提供资源注册、索引和发现功能。
ContainerAllocationPolicy：这个抽象类表示用于将容器分配给VM的放置策略。ContainerLocationPolicy的主要功能是选择数据中心中满足容器部署要求（包括容器所需的内存、存储和可用性）的可用VM。通过扩展该类，可以创建具有不同目标的不同安置策略。
VmAllocationPolicy：除了将VM分配给主机之外，这个抽象类还实现了optimizeAllocation方法，该方法定义了容器和VM级别的整合策略。
Workload Management：高度可变的工作负载是云应用程序的主要特征之一。在这方面，ContainerCloudSim还支持在CaaS环境中对云应用程序的动态工作负载模式进行建模。我们利用CloudSim中现有的利用率模型来确定容器级别的资源需求。利用率模型是一个抽象类，它的getUtilization（）方法可以被模拟器用户覆盖以获得各种工作负载模式。getUtilization（）方法的输入是模拟时间，其输出是每个Cloudlet所需计算资源的百分比。
Data Center Power Consumption: 为了管理每台主机的功耗，包含了PowerModel类。它可以扩展（通过重写getPower（）方法）以模拟主机的自定义功耗模型。getPower（）输入参数是主机的当前利用率指标，而其输出是功耗值。通过使用此功能，ContainerCloudSim用户能够设计和评估节能供应算法，这些算法要求实时监控云系统组件的电力利用情况。总能耗也可以在模拟结束时报告。

ContainerCloudSim类图如上所示。[彩色图片可在wileyonlinelibrary.com上查看]

数据中心内部处理顺序图如上所示，这可能是这篇论文中最重要的一幅图之一了

更新过程的序列图：

在每个模拟时间中，会调用updateVMProcessing（）方法
updateVMProcessing（）方法接受当前模拟时间作为其输入参数类型
在每个主机上调用一个方法（updateContainersProcessing（））
指示更新每个虚拟机上的处理
对于每个虚拟机，该过程将递归地重复以更新其容器处理。
对于每个容器，该过程将更新应用程序处理。容器级别的方法返回在其上运行的作业的最早完成时间。
然后到虚拟机级别，所有容器中完成时间最短的返回到主机。
最后，在主机级别，所有虚拟机中最小的完成时间返回到数据中心。
返回给数据中心类的最早时间值用于设置重复整个过程的时间
然后再模拟核心中按计算时间安排时间，决定下一个模拟步骤，推进模拟

实验参数设置

对实验有用的参数，ContainerCloudSim中的设置：

container的类型为3种
- 第一种的CPU MIPS(1 Core)：4658 Memory(GB) ：128 Population：66
- 第二种的CPU MIPS(1 Core)：9320 Memory(GB) ：256 Population：67
- 第二=三种的CPU MIPS(1 Core)：18636 Memory(GB) ：512 Population：67
vm的类型为4种
- 类型一：CPU 【1.5 GHZ】(mapped on 18636 MIPS Per core)：2cores Memory(GB) ：1 Population：5
- 类型一：CPU 【1.5 GHZ】(mapped on 18636 MIPS Per core)：4cores Memory(GB) ：2 Population：5
- 类型一：CPU 【1.5 GHZ】(mapped on 18636 MIPS Per core)：1cores Memory(GB) ：4 Population：5
- 类型一：CPU 【1.5 GHZ】(mapped on 18636 MIPS Per core)：8cores Memory(GB) ：8 Population：5
服务器配置：CPU 【3 GHZ】(mapped on 37274 MIPS Per core)： 8cores Memory(GB) ：128 PidleP^{idle}Pidle（Watt） :93 PmaxP^{max}Pmax （Watt）: 135 Population: 20

能耗的设置

在时间t，数据中心的功耗计算为Pdc(t)=∑i=1NSPi(t)P_{d c}(t)=\sum_{i=1}^{N_{S}} P_{i}(t) Pdc(t)=i=1∑NSPi(t) 其中NSN_{S}NS 表示服务器的数量 Pi(t)P_{i}(t)Pi(t) 表示在t时刻时服务器i消耗的功耗

线性功耗模型：Pi(t)=Piidle +(Pimax −Piidle )∗Ui,tP_{i}(t)=P_{i}^{\text {idle }}+\left(P_{i}^{\text {max }}-P_{i}^{\text {idle }}\right) * U_{i, t} Pi(t)=Piidle +(Pimax −Piidle )∗Ui,t 用于计算服务器功耗 PiidleP^{idle}_{i}Piidle 表示为服务器的空闲利用率 PimaxP^{max}_{i}Pimax 表示服务器的最大利用率 Ui,tU_{i, t}Ui,t 跟CPU利用率有关

SLA的定义

如果承载容器的虚拟机没有接收到它请求的所需CPU量，则此实验中的SLA被视为违反。

SLA=∑i=1Ns∑j=1Nvm∑p=1NcCPUr(vmj,i,tp)−CPUa(vmj,i,tp)CPUr(vmj,i,tp)S L A=\sum_{i=1}^{N_{\mathrm{s}}} \sum_{j=1}^{N_{\mathrm{vm}}} \sum_{p=1}^{N_{\mathrm{c}}} \frac{\mathrm{CPU}_{r}\left(v m_{j, i}, t_{p}\right)-\mathrm{CPU}_{a}\left(v m_{j, i}, t_{p}\right)}{\mathrm{CPU}_{r}\left(v m_{j, i}, t_{p}\right)} SLA=i=1∑Nsj=1∑Nvmp=1∑NcCPUr(vmj,i,tp)CPUr(vmj,i,tp)−CPUa(vmj,i,tp)

CPUr(vmj,i,tp)CPU_r(vm_{j,i},t_p)CPUr(vmj,i,tp) CPUa(vmj,i,tp)CPU_a(vm_{j,i},t_p)CPUa(vmj,i,tp)对应于时间tp时服务器vmj,iv m_{j, i}vmj,i 的CPU请求和分配的CPU量

补充

文中还提出了一些案例，例如

容器超售：存在前提，即每个用户自己要求的服务数量有时是超标的，所以存在可以超售的现象，即售出的超过现有的
容器整合：即通过将容器迁移，整合到数量较少的主机，用于解决主机过载和负载不足来达到降低能耗的目的，这里着重介绍了容器迁移的仿真过程
容器放置策略：即将容器放置到虚拟机上，文章采用了FirstFit、MostFull和random三种策略进行了比较，最终发现FirstFit最有，指标有：迁移次数、数据中心总能耗和SLA违规影响
容器和虚拟机启动延迟：延迟不可忽略，这里容器启动延迟可以设置为常量（ConstantsEx.container\u STARTTUP\u DELA Y）。经过作者测试容器延迟一般为0.2-0.5秒之间，仿真器里面默认设置为0.4