网络存储技术

一、HCIA存储技术趋势与智能存储组件

（一）、HCIA存储技术趋势

1、数据与信息（请看下图）

2、数据存储（请看下图）

3、存储技术的发展（请看下图）

（1）、存储架构的发展（请看下图）

（2）、存储介质的发展（请看下图）

（3）、接口协议的发展（请看下图）

4、存储产品的发展趋势（请看下图）

（二）、智能存储组件

1、控制框

1、控制框：采用部件模块化设计，主要由系统插框、控制器（内含风扇模块）、BBU模块、电源模块、管理模块和接口模块等组成。其中控制器是核心部件，主要负责处理存储业务、接收用户的配置管理命令、保存配置信息、接入硬盘和保存关键信息到保险箱硬盘。

2、硬盘框

1、硬盘框：采用部件模块化设计，主要由系统插框、级联模块、电源模块和硬盘模块等组成。

3、级联模块

1、级联模块：用于交换机相互连接，由级联模块和设备线缆组成。

4、硬盘（硬盘：分为机械硬盘和固态硬盘）

1、机械硬盘：大致结构包括盘片、磁头臂、读/写磁头、主轴、硬盘接口和控制电路等。影响硬盘性能的因素有转速、寻道速度、单碟容量以及接口速度。它的传输方式有并行传输和串行传输。最后，不管硬盘内部多么的复杂，它必定要给使用者一个简单的接口，用来对其进行访问和读取数据。
硬盘向用户提供的接口包括一下几种：
a、用于ATA指令系统的IDE硬盘接口和SATA硬盘接口。

b、用于SCSI指令系统的并行SCSI接口、串行SCSI（SAS）接口以及承载FC协议的FC接口。

2、固态硬盘：相对于HDD而言，固态硬盘SSD在性能、可靠性、能耗、轻便性方面有着绝对的优势，目前已经在各领域得到广泛应用。
特点：
a、使用flash技术存储信息，数据传输速率比HDD快。

b、内部没有机械结构因此耗电量更小、散热小、噪音小。

c、SSD盘使用寿命受擦写次数影响。

SSD架构：主要由控制单元和存储单元（当前主要是flash闪存颗粒）组成。

a、控制单元：SSD控制器、主机接口、DRAM等。

b、存储单元：NAND FLASH颗粒。

5、接口模块

1、接口模块：不管硬盘内部多么复杂，它必定要给使用者一个简单的接口，用来对其访问读取数据。
接口模块大致可分为以下几种：

①、GE接口模块。

②、SAS级联模块和RDMA接口模块。

③、SmartIO接口模块。

④、PCle接口模块和56GB IB 接口模块。

⑤、FC接口和FCoE接口模块。

二、虚拟化技术与网络存储技术

（一）、虚拟化技术

1、虚拟化技术分类

1、CPU虚拟化：CPU的虚拟化技术是一种硬件方案，支持虚拟技术的CPU带有特别优化过的指令集来控制虚拟过程，通过这些指令集，VMM会很容易提高性能。

2、服务器虚拟化：服务器虚拟化能够通过区分资源的优先次序，并随时随地将服务器资源分配给最需要它们的工作负载来简化管理和提高效率，从而减少为单个工作负载峰值而储备的资源。

3、存储虚拟化：虚拟存储设备需要通过大规模的raid子系统和多个I/O通道连接到服务器上，智能控制器提供LUN访问控制、缓存和其他如数据复制等管理功能。

4、网络虚拟化：网络虚拟化整合后的设备组成了一个逻辑单元，在网络中表现为一个网元节点，管理简单化、配置简单化、可跨设备链路聚合，极大简化网络架构，同时进一步增强冗余可靠性。

5、应用虚拟化：应用虚拟化通常包括两层含义，一是应用软件的虚拟化，一是桌面的虚拟化。

2、Xen虚拟化技术的优缺点

优点：

1、Xen构建于开源的虚拟机管理程序上，结合使用半虚拟化和硬件协助的虚拟化。操作系统与虚拟化平台之间的这种协作支持开发一个较简单的虚拟机管理程序来提供高度优化的性能。

2、 Xen提供了复杂的工作负载均衡功能，可捕获CPU、内存、磁盘I/O和网络I/O数据，它提供了两种优化模式：一种针对性能，另一种针对密度。

3、 Xen利用一种名为Citrix Storage Link 的独特的存储集成功能。使用Citrix Storage Link，系统管理员可直接利用来自HP、Dell Equal Logic、NetApp、EMC等公司的存储产品。

4、Xen包含多核处理器支持、实时迁移、物理服务器到虚拟机转换（P2V）和虚拟到虚拟转换（V2V）工具。集中化的多服务器管理、实时性能监控，以及Windows和Linux的快速性能。

缺点：

1、Xen会占用相对较大的空间，且依赖于0号虚拟机中的Linux操作系统。

2、Xen依靠第三方解决方案来管理硬件设备驱动程序、存储、备份和恢复，以及容错 任何具有高I/O速率的操作或任何会吞噬资源的操作都会使Xen陷入困境，使其他虚拟机缺乏资源。

3、Xen缺少802.1Q 虚拟局域网（VLAN）中继，出于安全考虑，它没有提供目录服务集成、基于角色的访问控制、安全日志记录和审计或管理操作。

4、Xen目前最大的困难在于Linux内核社区的抵制，导致XEN相关的内核改动一直不能顺利进入内核源代码，从而无法及时得到内核最新开发成果的支持。

3、KVM虚拟化技术功能特性及优缺点

功能：KVM是基于虚拟化扩展（Intel VT-x或Amd-V）的X86硬件，是Linux完全原生的全虚拟化解决方案。部分的准虚拟化支持主要是以准虚拟化网络驱动程序的形式用于Linux和Windows客户机系统的。KVM目前设计为通过可加载的内核模块来进行广泛支持的客户机操作系统，如 Linux、BSD、Solaris、Windows、Haiku、ReactOS和AROS Research Operating System。

特性：内存管理、存储、设备驱动程序、Linux的性能和可伸缩性。

优缺点

优点：

1、开源：KVM 一个开源项目，这就决定了KVM一直是开放的姿态，许多虚拟化的新技术都是首先在KVM上应用，再到其他虚拟化引擎上推广。

2、性能：KVM吸引许多人使用的一个动因就是性能，在同样的硬件条件下，能提供更好的虚拟机性能，主要是因为KVM架构简单，代码只有2万行，一开始就支持硬件虚拟化，这些技术特点保证了KVM的性能。

3、免费：KVM因为是开源项目，绝大部分KVM的解决方案都是免费方案，随着KVM的发展，KVM虚拟机越来越稳定，兼容性也越来越好，因而也就得到越来越多的应用。

4、技术支持： 免费并不意味着KVM没有技术支持。在KVM的开源社区，数量巨大的KVM技术支持者都可以提供KVM技术支持。另外，如果需要商业级支持，也可以购买红帽公司的服务。

缺点：作为相对较新的虚拟化方案，KVM一直没有成熟的工具可用于管理KVM服务器和客户机。

4、红帽RHEV技术功能特性及优缺点

1、在线迁移（200ms之内完成VM到物理内存的迁移，但迁移过程中不能有过多的I/O操作）。

2、高可用。

3、系统计划调度（自动迁移，设定CPU负载阀值）。

4、电源管理。

5、模板管理。

6、快照（3.1支持1张快照，3.2以上支持多张快照）。

优缺点

优点：

1、性能和可扩展性：为实现企业级的虚拟化应用程序，如Oracle、SAP和Microsoft Exchange，为其提供领先的性能和可扩展性。

2、安全性：业界领先的安全性，在安全增强型红帽企业Linux内核基础上构建。

3、企业功能：业虚拟化管理功能，包括实时迁移、高可用性、负载均衡、节能等。

4、灵活性：通过消除桌面操作系统和基础硬件之间的依赖性，实现业务灵活性和连续性。

5、成本优势：与其他解决方案相比较，凭借红帽软件订阅模式的强大功能，能够以更低的购置和总拥有成本获得相同或更好的功能集，从而获得收益。

缺点：

1、技术不成熟：KVM的出现不过三四年时间，在可用资源、平台支持、管理工具、实施经验方面当然不能与出现8年之久的Xen相比。

2、需要Windows支持；KVM3.0之前的RHEV-M管理程序需要Windows支持，这是KVM在部署过程中最大的障碍，RedHat公司已经意识到这个问题的严重性，从KVM3.0开始，开发出基于Linux的RHEV-M，取消了其只能运行于Windows服务器上的尴尬，这一改动得到大量Linux用户的支持。

3、管理的物理服务器数量少，每台M端只能管理500台以内的H端服务器。

5、其他虚拟化技术的实现方法

1、VMware：

①、VMware Workstation： VMware Workstation是VMware公司销售的运行于台式机和工作站上的虚拟化软件，也是VMware公司第一个面市的产品（1999年5月）。该产品最早采用了VMware在业界知名的二进制翻译技术，在x86 CPU硬件虚拟化技术还未出现之前，为客户提供了纯粹的基于软件的全虚拟化解决方案。

②、VMware ESX Server：ESX服务器（一种能直接在硬件上运行的企业级的虚拟平台），虚拟的SMP，它能让一个虚拟机同时使用四个物理处理器，和VMFS一样，它能使多个ESX服务器分享块存储器。

2、Virtual Box： Oracle VirtualBox是由德国InnoTek软件公司出品的虚拟机软件，现在由甲骨文公司进行开发，是甲骨文公司xVM虚拟化平台技术的一部分。它提供使用者在32位或64位的Windows、Solaris及Linux操作系统上虚拟其他X86的操作系统。使用者可以在VirtualBox上安装并执行Solaris、Windows、DOS、Linux、OS/2 Warp、OpenBSD及FreeBSD等操作系统作为客户端操作系统。最新的VirtualBox还支持运行Android4.0系统。

3、Hyper-V：Hyper-V是微软提出的一种系统管理程序虚拟化技术。Hyper-V设计的目的是为广泛的用户提供更为熟悉及成本效益更高的虚拟化基础设施软件，这样可以降低运作成本、提高硬件利用率、优化基础设施并提高服务器的可用性。 Hyper-V的设计借鉴了Xen，采用微内核的架构，兼顾了安全性和性能的要求。Hyper-V底层的Hypervisor运行在最高的特权级别下，微软将其称为ring-1（而Intel也将其称为root mode），而虚拟机的操作系统内核和驱动运行在ring0，应用程序运行在ring3。

（二）、Qemu-KVM

1、KVM原理简介（如图所示）

2、Qemu原理介绍

1、 Qemu是纯软件实现的虚拟化模拟器，几乎可以模拟任何硬件设备，是一个完整的可以运行的软件，非常灵活可移植，我们最熟悉的就是能够模拟一台能够独立运行操作系统的虚拟机，虚拟机认为自己和硬件打交道，但其实是和Qemu模拟出来的硬件打交道，Qemu将这些指令转译给真正的硬件。

2、Qemu模块
①、QEMU本身并不是KVM的一部分，其自身就是一个著名的开源虚拟机软件。与KVM不同，QEMU虚拟机是一个纯软件的实现，所以性能地下。但是，其优点是在支持QEMU本身编译运行的平台上就可以实现虚拟机的功能，甚至虚拟机可以与宿主机并不是同一个架构。作为一个存在已久的虚拟机，QEMU的代码中有整套的虚拟机实现，包括处理器虚拟化、内存虚拟化，以及KVM使用到的虚拟设备模拟（比如网卡、显卡、存储控制器和硬盘等）。
②、从QEMU和KVM模块之间的关系可以看出，这是典型的开源社区在代码共用和开发项目共用上面的合作。诚然，QEMU可以选择其他的虚拟机或技术来加速，比如Xen或者KQEMU；KVM也可以选择其他的用户空间程序作为虚拟机实现，只要它按照KVM提供的API来设计。但是在现实中，QEMU与KVM两者的结合是最成熟的选择，这对一个新开发和后起的项目（KVM）来说，无疑多了一份未来成功的保障。
3、Qemu的三种运行模式
①、第一种模式是通过kqemu模块实现内核态的加速。
②、第二种模式是在用户态直接运行QEMU，由QEMU对目标机的 所有 指令进行翻译后执行，相当于全虚拟化。
③、第三种模式则是KVM官方提供的kvm-qemu加速模式。

4、Qemu的特点：

①、QEMU的两种操作模式：完整的系统仿真和用户模式仿真。
②、QEMU具有以下特点：
a、QEMU可以在没有主机内核驱动程序的情况下运行。
b、它适用于多种操作系统（GNU / Linux，* BSD，Mac OS X，Windows）和体系结构。
③、QEMU用户模式仿真具有以下功能：
a、通用Linux系统调用转换器，包括大部分ioctls。
b、使用本机CPU clone的仿真为线程使用Linux调度程序。
c、通过将主机信号重新映射到目标信号来实现精确信号处理。
④、QEMU全系统仿真具有以下特点：
a、QEMU使用完整的软件MMU来实现最大的便携性。
b、QEMU可以选择使用内核加速器，如kvm。加速器本地执行大部分客户代码，同时继续模拟机器的其余部分。
c、可以仿真各种硬件设备，并且在某些情况下，客户机操作系统可以透明地使用主机设备（例如串行和并行端口，USB，驱动器）。主机设备传递可用于与外部物理外围设备（例如网络摄像头，调制解调器或磁带驱动器）交谈。
d、对称多处理（SMP）支持。目前，内核加速器需要使用多个主机CPU进行仿真。

3、KVM和Qemu的关系

1、Qemu是一个独立的虚拟化解决方案，通过intel-VT 或AMD SVM实现全虚拟化，安装qemu的系统，可以直接模拟出另一个完全不同的系统环境。QEMU本身可以不依赖于KVM，但是如果有KVM的存在并且硬件(处理器)支持比如Intel VT功能，那么QEMU在对处理器虚拟化这一块可以利用KVM提供的功能来提升性能。
KVM是集成到Linux内核的Hypervisor，是X86架构且硬件支持虚拟化技术（Intel-VT或AMD-V）的Linux的全虚拟化解决方案。它是Linux的一个很小的模块，利用Linux做大量的事，如任务调度、内存管理与硬件设备交互等。准确来说，KVM是Linux kernel的一个模块。

4、Qemu工具介绍

①、qemu-img
qemu-img是QEMU的磁盘管理工具，在qemu-kvm源码编译后就会默认编译好qemu-img这个二进制文件。qemu-img也是QEMU/KVM使用过程中一个比较重要的工具。下面我们将几条重要的选项讲解一下。
a、check [-f fmt] filename 对磁盘镜像文件进行一致性检查，查找镜像文件中的错误，目前仅支持对“qcow2”、“qed”、“vdi”格式文件的检查。
b、create [-f fmt] [-o options] filename [size]创建一个格式为fmt大小为size文件名为filename的镜像文件。
c、commit [-f fmt] [-t cache] filename 提交filename文件中的更改到后端支持镜像文件（创建时通过backing_file指定的）中去。
d、convert [-c] [-p] [-f fmt] [-t cache] [-O output_fmt] [-o options] [-s snapshot_name] [-S sparse_size] filename [filename2 […]] output_filename 将fmt格式的filename镜像文件根据options选项转换为格式为output_fmt的名为output_filename的镜像文件。
e、info [-f fmt] filename 展示filename镜像文件的信息。
f、snapshot [-l | -a snapshot | -c snapshot | -d snapshot] filename “-l” 选项是查询并列出镜像文件中的所有快照，“-a snapshot”是让镜像文件使用某个快照，“-c snapshot”是创建一个快照，“-d”是删除一个快照。
g、rebase [-f fmt] [-t cache] [-p] [-u] -b backing_file [-F backing_fmt] filename改变镜像文件的后端镜像文件，只有qcow2和qed格式支持rebase命令。
h、resize filename [+ | -]size 改变镜像文件的大小，使其不同于创建之时的大小。

②、qemu-kvm
此命令用于创建虚拟机，其使用格式为“qemu-kvm [options] [disk_image]”，其选项非常多，大致可分为如下几类：
标准选项；
USB选项；
显示选项；
i386平台专用选项；
网络选项；
字符设备选项；
蓝牙相关选项；
Linux系统引导专用选项；
调试/专家模式选项；
PowerPC专用选项；
Sparc32专用选项。

下面我们将讲解几个重要的选项。
a、qemu-kvm的标准选项 该选项主要涉及指定主机类型、CPU模式、NUMA、软驱设备、光驱设备及硬件设备等。
b、qemu-kvm的显示选项 该选项主要用来配置虚拟机的显示状态。
c、网络属性相关选项 该选项用来配置虚拟机的网络信息。

③、qemu-ga
a、qga是一个运行在虚拟机内部的普通应用程序（可执行文件名称默认为qemu-ga，服务名称默认为qemu-guest-agent），其目的是实现一种宿主机和虚拟机进行交互的方式，这种方式不依赖于网络，而是依赖于virtio-serial（默认首选方式）或者isa-serial，而QEMU则提供了串口设备的模拟及数据交换的通道，最终呈现出来的是一个串口设备（虚拟机内部）和一个unix socket文件（宿主机上）。
b、 qga通过读写串口设备与宿主机上的socket通道进行交互，宿主机上可以使用普通的unix socket读写方式对socket文件进行读写，最终实现与qga的交互，交互的协议与qmp（QEMU Monitor Protocol）相同（简单来说就是使用JSON格式进行数据交换），串口设备的速率通常都较低，所以比较适合小数据量的交换。
④、qemu-io
a、这是一个执行 Qemu I/O 操作的命令行工具，可以对qemu-img创建的镜像进行I/O测试，其帮助文档为，使用格式为qemu-io [-h] [-V] [-rsnm] [-c cmd] … [file]，下面是常用的选项：
（1）-c, --cmd：执行指令；
（2）-r, --read-only：设置出口为只读模式；
（3）-s, --snapshot：使用快照文件进行测试；
（4）-n, --nocache：禁用主机缓存；
（5）-k, --native-aio：使用内核AIO实现（仅在Linux上）；
（6）-t, --cache=MODE：对image使用指定的缓存模式。
⑤、qemu-nbd
a、qemu-nbd在有的系统上叫kvm-nbd，qemu-nbd-xen等。基本上都一样。用qemu-nbd实现mount虚拟硬盘到Host上的功能。
网络块设备: Network Block Device。可以将一个远程主机的磁盘空间，当作一个块设备来使用，就像一块硬盘一样。使用它，可以很方便的将另一台服务器的硬盘空间增加到本地服务器上。
NBD与NFS有所不同，NFS只是提供一个挂载点供客户端使用，客户端无法改变这个挂载点的分区格式。而NBD提供的是一个块设备，客户端可以把这个块设备格式化成各种类型的分区，更便于用户的使用。

5、Qemu支持的磁盘格式介绍

①、qemu-nbd
qemu-img支持非常多种的文件格式，我们可以通过“qemu-img --help”查看帮助文档得到，它支持二十多种格式：vvfat、vpc、vmdk、vhdx、vdi、ssh、sheepdog、rbd、raw、host_cdrom、host_floppy、host_device、file qed、qcow2、qcow、parallels、nbd、iscsi、gluster、 dmg、tftp、ftps、ftp、https、http、cloop、bochs、blkverify、blkdebug。
下面对其中几种常用的文件格式做简单的介绍。
a、raw raw格式是简单的二进制镜像文件，一次性会把分配的磁盘空间占用。
b、host_device 在需要将镜像转化到不支持空洞的磁盘设备时需要用这种格式来代替raw格式。
c、qcow2 qcow2是QEMU目前推荐的镜像格式，它是功能最多的格式。
d、qcow 较旧的QEMU镜像格式，现在已经很少使用了，一般用于兼容比较老版本的QEMU。它支持backing_file（后端镜像）和encryption（加密）两个选项。
e、copy copy-on-write format，写时复制格式。曾经qemu的写时拷贝的镜像格式，目前由于历史遗留原因不支持窗口模式，后来被qcow格式所取代。
f、vdi 兼容Oracle（Sun）VirtualBox1.1的镜像文件格式（Virtual Disk Image）。
g、vmdk VMDK（VMWare Virtual Machine Disk Format）是虚拟机VMware创建的虚拟硬盘格式，文件存在于VMware文件系统中，被称为VMFS（虚拟机文件系统）。
h、vpc 兼容Microsoft的Virtual PC的镜像文件格式（Virtual Hard Disk format）。
i、sheepdog Sheepdog项目是由日本的NTT实验室发起的，为QEMU/KVM做的一个开源的分布式存储系统，为KVM虚拟化提供块存储。
j、cloop 压缩的loop格式，主要用于可直接引导优盘或者光盘的一种镜像格式。

6、Qemu-KVM虚拟化环境搭建（实验题略！）

7、Qemu-ing生产虚拟机硬盘（实验题略！）

8、Qemu-KVM命令创建虚拟机（实验题略！）

感谢您的阅读！！！
THANKS!

网络存储与虚拟化技术以及Qemu-KVM相关推荐

1. 云计算之虚拟化技术概述（KVM/Xen/Hyper-V/VMware）

   文章目录 虚拟化技术 什么是虚拟化 服务器虚拟化 cpu的虚拟化 内存虚拟化管理 硬盘的虚拟化 网络虚拟化 IO虚拟化 Intel虚拟化技术 主流的虚拟化技术 虚拟化技术对比 KVM Xen Hype ...

2. 虚拟化技术之KVM安装与使用

   什么是KVM虚拟化技术? KVM(Kernel-based Virtual Machine),主流虚拟化技术之一,集成与Linux2.6之后版本中,通过linux内核提供任务调度及管理. 注:此文档为 ...

3. 云计算大数据：Xen、KVM、VMware、hyper-v等虚拟化技术的比较

   1.Xen.KVM.VMware.hyper-v等虚拟化技术的比较,xen和kvm,是开源免费的虚拟化软件. vmware是付费的虚拟化软件. hyper-v比较特别,是微软windows 2008 ...

4. Linux桌面虚拟化技术-KVM

   一. KVM概述 KVM 即 Kernel-based Virtual Machine 基于内核的虚拟机. KVM,是一个开源的系统虚拟化模块,自 Linux 2.6.20 之后集成在 Linux 的 ...

5. Linux桌面虚拟化技术KVM

   内容: • 虚拟化产品对比介绍 • 安装 KVM • 实戓 1:配置 KVM 网络桥接功能 • 实戓 2:使用 KVM 安装虚拟机 虚拟化产品对比介绍 vmware KVM rhel6_x64 xen ...

6. 网络虚拟化技术与NFV

   一.虚拟化技术概述 1.虚拟化技术简介 虚拟化,是指通过虚拟化技术将一台计算机虚拟为多台逻辑计算机.在一台计算机上同时运行多个逻辑计算机,每个逻辑计算机可运行不同的操作系统,并且应用程序都可以在相互独 ...

7. Linux 桌面虚拟化技术 KVM

   KVM:是 Kernel-based Virtual Machine 的简称,是一个开源的系统虚拟化模块,自Linux 2.6.20之后集成在Linux的各个主要发行版本中.它使用Linux自身的调度 ...

8. 虚拟化技术：KVM介绍及试用

   KVM介绍及试用 服务器虚拟化是云计算最核心的技术,而KVM是当前最主流的开源的服务器虚拟化技术.从Linux2.6.20起,KVM作为内核的一个模块 集成到Linux主要发行版本中.从技术架构(代码 ...

9. 网络I/O虚拟化，SR-IOV技术

   网络I/O虚拟化,SR-IOV技术 1.简介 网络I/O虚拟化是服务器虚拟化技术的重要组成部分,在服务器虚拟化技术领域,计算虚拟化(如CPU和内存虚拟化)已经日趋成熟,但是,网络I/O虚拟化技术的发展 ...

最新文章

1. 全球Top5互联网巨头崛起秘诀，真相竟然是？
2. 2022年十大AI预测
3. 50张神图……好不容易才找到完整版！
4. python 字符串处理 字典_python 字符串和字典
5. Doxygen学习小记
6. SQL 递归树 子父节点相互查询
7. MySQL数据库反向生成powerdesigner模型
8. OgreSDK_Android_v1-9-0RC1 --Android 环境搭建
9. C语言利用指针实现字符串逆序输出
10. 通信原理 | 滤波器：模拟滤波器和数字滤波器
11. 推荐尽可能看Paul Deitel的英文原著《C how to Program, Sixth Edition》
12. solr6.3与MySQL结合使用
13. 一文搞懂业务中台、数据中台、AI中台区别及联系
14. 有限体积法（6）——离散格式的特性
15. java.sql.SQLException: Incorrect string value: ‘\xE5\x8D\x97\xE6\x98\x8C‘ for column ‘address‘ at ro
16. cuda10.2安装失败方案汇总
17. java构造函数返回值_java构造函数总结
18. 美国AI初创企业CounterFlow AI获270万美元种子融资
19. Android图片加载利器：Glide用法
20. 动态规划-国王与黄金

热门文章

1. 低温烹饪过程中真空压力的自动控制
2. 《软件测试工程师面试秘籍》—第1章1.3节过关斩将
3. Linux使用Docker安装Nacos并配置MySQL数据源，将Springboot的配置文件部署到Nacos
4. 半条命2服务器无响应,半条命2常见问题汇总_半条命2常见问题解决_快吧单机游戏...
5. STC15系列单片机-PWM模块
6. 微带线和带状线的区别
7. Python-OpenCV读取视频文件
8. IOS开发资料地址大全
9. 2021年5月10日 星期一 阴
10. 服务端指南 数据存储篇 | 选择合适的数据存储方案