CloudStack的创建

安装虚拟机

创建节点

准备两台VMware Workstations虚拟机进行基本设置，一台作为manager管理节点，一台作为agent计算节点。网络适配器选择NAT模式。
配置：
- manager节点需有2G内存
- agent节点需有4G内存（虚拟机是运行于计算节点上的，所以内存需要多些）
在安装的最后一步需要在自定义硬件中勾选虚拟化VT选项。
网络配置

安装完成启动后，需要修改网卡配置文件
```
vi /etc/sysconfig/network-scripts/ifcfg-ens33
```
修改配置项为ONBOOT=YES，保存后退出（Esc+:wq）
重启网络服务
```
systemctl restart network
```
重启后使用命令ip addr查看虚拟机ip地址。

获取到ip后使用xshell连接
升级系统

使用centos最小版本安装，需升级系统版本以及所有包。
```
yum -y upgrade
```

基本设置

【两个节点都需要完成，可以先完成一个节点后另一个节点使用克隆得到】

安装常用软件
```
yum install vim -y
yum install lrzsz -y
yum install epel* -y
```
vim为常用文本编辑器，lrzsz用于本地windows系统与虚拟机之间的文件上传下载。epel为CentOS提供额外的软件包。cloudstack软件很多依赖包都要通过epel安装，因此一定要安装epel。

重建本地仓库缓存
```
yum clean all && yum makecache
```
设置主机名
主机名设置的配置文件位于/etc/hostname，使用命令
```
vi /etc/hostname
```
使用快捷键dd删除原有内容，还用a/i/o进入编辑模式，修改内容并保存。

manager 节点主机名： manager.ly.cloud
agent 节点主机名： agent.ly.cloud

修改后需重新启动reboot才能生效。
设置IP
设置静态IP：

manager节点： 192.168.239.154
agent 节点： 192.168.239.155

这里设置的IP即为上面获取到的VMware Workstations分配给虚拟机的IP，需要在网卡文件ifcfg-ens33中写入。

Manager节点
```
vi /etc/sysconfig/network-scripts/ifcfg-ens33
```
原有设置不要删除，将BOOTPROTO=dhcp修改为BOOTPROTO=static，改变或新增如下内容：
```
IPADDR=192.168.239.154
NETMASK=255.255.255.0
GATEWAY=192.168.239.2
```
IPADDR：要设置的IP，需要注意的是设置的IP需要与网关相对应；
NETMASK：子网掩码；
GATEWAY：网关，一般最后一位都为2

查看网关：
点击WMware Workstations选项卡，编辑→虚拟网络编辑器

如果在创建虚拟机时选择了NAT模式，选中VMnet8，点击NAT设置可以查看网关

编辑保存后，重启network服务使配置文件生效。
```
systemctl restart network
```
Agent节点

与Manger节点相同，只是将IP修改为对应的IP
```
vi /etc/sysconfig/network-scripts/ifcfg-ens33
```
```
原有设置不要删除，改变或新增如下内容：
```
```
IPADDR=192.168.239.155
NETMASK=255.255.255.0
GATEWAY=192.168.239.2
```
编辑保存后，重启network服务使配置文件生效。
```
systemctl restart network
```
修改dns服务器
```
vi /etc/resolv.conf
```
添加文件内容
```
search ly.cloud
nameserver 8.8.8.8
nameserver 8.8.4.4
```
8.8.8.8和8.8.4.4 是谷歌提供的两个公共dns服务器
设置HOST和IP映射
编辑 /etc/hosts 文件
```
vi /etc/hosts
```
新增以下内容：
192.168.239.154 manager.ly.cloud
192.168.239.155 agent.ly.cloud
修改后可以ping相互的主机测试映射是否成功。
```
ping manager.ly.cloud
```
```
ping agent.ly.cloud
```
关闭防火墙
设置防火墙关闭且开机不启动
```
systemctl disable firewalld
systemctl stop firewalld
```
设置selinux为permissive模式
```
vi /etc/selinux/config
```
修改配置项
```
SELINUX=permissive
```
重启后生效
可以使用getenforce查看当前当前selinux

安装服务

安装时间同步模块
安装chrony（默认是已经安装的）

yum -y install chrony

可以将同步时间同步器修改为阿里云的

vim /etc/chrony.conf

将文件中的原有内容

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

修改为

server ntp1.aliyun.com iburst
server ntp2.aliyun.com iburst
server ntp3.aliyun.com iburst
server ntp4.aliyun.com iburst

【可以在vim/vi的命令模式下使用快捷键dd删除原有内容后再进行添加】
修改保存后，重启chronyd

systemctl restart chronyd

NFS服务
将主存储放在agent计算节点，二级存储放在manager管理节点
```
yum -y install nfs-utils
```
编辑配置文件固定 nfs 服务使用的端口。如果不指明，可能会使用随机端口。可能占用cloudstack所需，因此固定端口。
```
vim /etc/sysconfig/nfs
```
指定端口
```
LOCKD_TCPPORT=32803
LOCKD_UDPPORT=32769
MOUNTD_PORT=892
RQUOTAD_PORT=875
STATD_PORT=662
STATD_OUTGOING_PORT=2020
```
可以在vim的命令模式下使用快捷键\进行搜索，找到后去掉前面的#号注释，指定端口。
启动服务并设置开机启动
```
systemctl enable rpcbind
```
```
systemctl start rpcbind
```
```
systemctl enable nfs
```
```
systemctl start nfs
```
manager节点设置二级存储使用的NFS共享目录

1）. 新增硬盘
在VMware Workstation的选项卡中选择虚拟机→设置。在弹出的页面中点击添加。

选中硬盘，添加一块20G的硬盘后重启虚拟机reboot。
查看新增硬盘
```
fdisk -l
```
2）. 新增硬盘为 /dev/sdb，格式化硬盘，建立文件系统格式 ext4
```
mkfs.ext4 /dev/sdb
```
创建挂载点
```
mkdir -p /export/secondary
```
硬盘挂载写入 /etc/fstab 开机挂载
```
echo "/dev/sdb  /export/secondary  ext4 defaults 0 0"  >> /etc/fstab
```
快速挂载 /etc/fstab 中内容
```
mount -a
```
查看文件挂载
```
df -h
```
设置共享目录
```
vim /etc/exports
```
添加内容/export/secondary *(rw,async,no_root_squash,no_subtree_check)
重新导入共享目录配置
```
exportfs -a
```
在agent节点查看manager的共享目录
```
showmount -e manager.ly.cloud
```
agent节点设置主存储使用的NFS共享目录

1）. 新增硬盘
首先与manager节点相同，添加一块20G的硬盘
2）. 格式化硬盘，建立文件系统格式ext4
```
mkfs.ext4 /dev/sdb
```
创建挂载点
```
mkdir -p /export/primary
```
硬盘挂载写入 /etc/fstab 开机挂载
```
echo "/dev/sdb  /export/primary  ext4 defaults 0 0"  >> /etc/fstab
```
快速挂载 /etc/fstab 中内容
```
mount -a
```
设置共享目录
```
vim /etc/exports
```
添加内容/export/primary *(rw,async,no_root_squash,no_subtree_check)
重新导入共享目录配置
```
exportfs -a
```
manager 节点查看 agent的共享目录
```
showmount -e agent.ly.cloud
```
MySql服务
在manager节点安装mariadb
manager节点执行
```
yum -y install mariadb-server mariadb
```
编辑 mariadb 配置文在[mysqld]模块添加
```
innodb_rollback_on_timeout=1
innodb_lock_wait_timeout=600
max_connections=350
log-bin=mysql-bin
binlog-format = 'ROW'
bind-address = 0.0.0.0
```
启动mariadb 并设置为开机启动
```
systemctl enable mariadb
systemctl start mariadb
```
执行数据库初始化安全操作
```
mysql_secure_installation
```
设置密码，删除无用数据库等，大多是选择默认即可，一般在屏蔽远程连接时选n。初始密码为空，只需要回车即可。可以设定一个新的密码：123456

设置赋予root远程登录权限
```
mysql -uroot -p123456 -e "GRANT ALL PRIVILEGES ON *.* TO root@'%' IDENTIFIED BY '123456' WITH GRANT OPTION";
```

安装CloudStack软件

使用本地安装，通过以下三个链接下载yum源至本地安装。
http://cloudstack.apt-get.eu/centos7/4.13/cloudstack-management-4.13.1.0-1.el7.x86_64.rpm
http://cloudstack.apt-get.eu/centos7/4.13/cloudstack-agent-4.13.1.0-1.el7.x86_64.rpm
http://cloudstack.apt-get.eu/centos7/4.13/cloudstack-common-4.13.1.0-1.el7.x86_64.rpm
如果上述的链接下载速度还是慢，可以尝试以下通过ftp服务器下载。
ftp://47.93.5.35/CloudStack/
下载完成后可以通过xshell直接将文件拖入对话黑框中，或是执行rz命令，将rpm文件上传至root的根目录下。其中manager节点需要上传manager包和common包，agent节点需要上传agent包和common包。

manager节点安装CloudStack-Manager

yum -y install cloudstack-common-4.13.1.0-1.el7.x86_64.rpm cloudstack-management-4.13.1.0-1.el7.x86_64.rpm

安装完成后需要初始化数据库，这一步在数据库中创建cloudstack使用的库表，并创建初始数据。会在mysql中新创建一个 cloud 用户

cloudstack-setup-databases cloud:123456@localhost --deploy-as=root:123456

启动management

cloudstack-setup-management

此时可以在xshell中新建一个与管理节点manager的对话，使用

tail -f /var/log/cloudstack/management/management-server.log

实时监听启动过程中是否存在报错。

安装系统模板到二级存储

这里使用kvm模板，下载至本地安装
下载链接：http://cloudstack.apt-get.eu/systemvm/4.11/systemvmtemplate-4.11.3-kvm.qcow2.bz2
如果下载慢，也可以使用以下的ftp链接进行下载
ftp://47.93.5.35/CloudStack/systemvmtemplate-4.11.3-kvm.qcow2.bz2
下载后也是通过rz将文件上传至root根目录，完成后执行命令

/usr/share/cloudstack-common/scripts/storage/secondary/cloud-install-sys-tmplt  \
-m /export/secondary \
-f /root/systemvmtemplate-4.11.3-kvm.qcow2.bz2 \
-h kvm -F

agent节点安装CloudStack-agent

安装NET-TOOLS 工具，设置网络桥接
在安装cloudstack之前，要先设置桥接。

yum -y install net-tools bridge-utils

编辑网卡桥接文件 cloudbr

vim /etc/sysconfig/network-scripts/ifcfg-cloudbr0

内容如下，需要根据实际IP和网关进行修改

TYPE=Bridge
BOOTPROTO=none
DEVICE=cloudbr0
ONBOOT=yes
IPADDR=192.168.239.155
NETMASK=255.255.255.0
GATEWAY=192.168.239.2
STP=yes

设置网卡文件

vi /etc/sysconfig/network-scripts/ifcfg-ens33

添加如下内容。将原IP、网关、子网掩码设置删除并且添加：

BRIDGE=cloudbr0

修改后的ifcfg-ens33文件：

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=9400b283-bb44-4068-8819-d7c353f56cc3
DEVICE=ens33
ONBOOT=yes
BRIDGE=cloudbr0

重新启动网络服务

systemctl restart network

查看网桥和路由

brctl show
route -n

安装CloudStack-agent进行基本设置
将下载的commonagent的rpm文件上传至agent节点的根目录下后，进行本地安装
```
yum -y install cloudstack-common-4.13.1.0-1.el7.x86_64.rpm cloudstack-agent-4.13.1.0-1.el7.x86_64.rpm
```
修改相应配置
1）编辑QEMU VNC配置文件/etc/libvirt/qemu.conf
```
vim /etc/libvirt/qemu.conf
```
去掉注释
```
vnc_listen="0.0.0.0"
```
2）配置/etc/libvirt/libvirtd.conf文件
```
vim /etc/libvirt/libvirtd.conf
```
修改以下内容：
```
listen_tls = 0
listen_tcp = 1
tcp_port = "16509"
auth_tcp = "none"
mdns_adv = 0
```
部分内容只需去掉修改，部分内容需要修改值
3）配置/etc/sysconfig/libvirtd文件
```
vim /etc/sysconfig/libvirtd
```
去掉注释
```
LIBVIRTD_ARGS="--listen"
```
重启libvirtd并设置为开机自启
```
systemctl restart libvirtd
systemctl enable libvirtd
```

访问Web，创建资源域

在浏览器中输入管理节点Manager的ip:8080，登入管理平台。

用户名：admin
密码：password
在登录页面选择语言：简体中文

登入后在全局设置中搜索host，设置host 修改为管理节点IP192.168.239.254

设置超配倍数可分配资源 = 实际资源 * 超配倍数。包括 CPU 内存主存储容量等。一般不设置内存超配，CPU超配大概3~4倍。这里都修改成了2倍。

cpu.overprovisioning.factor      CPU超配倍数
mem.overprovisioning.factor     内存超配倍数

设置secstorage 设置允许从该网段下载ISO或模板

secstorage.allowed.internal.sites = 0.0.0.0/0

设置完成需重启 cloudsatck-management
在xshell的manager对话框，使用命令

systemctl restart cloudstack-management

创建资源域

再次访问 WEB UI界面，点击基础架构→资源域→查看全部，点击添加资源域。

名称任意，其中的DNS可以填写在配置环境中设置的值，虚拟机管理程序选择KVM

提供点名称随意，预留网关与子网掩码与上面环境配置中设置的相同，可以在VMWare Workstation中查看，预留系统IP范围必须在VMWare Workstation分配的虚拟机范围当中。
查看方法：
点击WMWare WorkStations中的编辑→虚拟网络编辑器，在弹出的新窗口中选中VMnet8（NAT模式），点击DHCP设置

群集名称随意

添加资源域

主机名称填写agent计算节点的IP地址，用户名为root，密码为虚拟机的root密码

名称随意
协议选中nfs
服务器为agent计算节点的IP地址
路径为/export/primary，与上面在agent节点中设置的相同

提供程序选择NFS
名称随意
服务器为manager管理节点的IP地
路径为/export/secondary，与上面在manager节点中设置的相同

点击启动资源域按钮开始安装

确认是否安装成功

在基础架构中，可以看到与未创建之前相比，资源域数目变为了1，并且系统VM数量变为了2。可以点击查看全部（在刚创建后代理状态可能为disconnected，稍等即可）