windows下用BOSH lite方式在单个VM中安装Cloud Foundry2.x

前言

Cloud Foundry组织的官方文档提供了一种方式，BOSH Lite，可以在单个VM上部署Cloud Foundry 2.x的环境。然而该文档高度浓缩，基本没有解释，而且文档是基于Linux宿主机来说明的。而我用的是windows环境，按照该文档操作折腾了无数遍，终于对这种方式有了较深的理解。记录和分享如下，给对CF有兴趣的朋友一些参考。

环境需求：内存8G以上；可连接internet。相信这个配置很多朋友可能实现了。

术语：
- virtualbox：虚拟化系统，支持win、linux、MacOS。
- vagrant：基于Ruby的工具，用于创建和部署虚拟化开发环境。它使用Oracle的开源VirtualBox虚拟化系统，使用Chef创建自动化虚拟环境。它用模板+配置来建立vbox虚机。
- bosh：大规模部署工具，分为server和client
- boshlite：一个设置好了的bosh server。在vagrant虚拟机里，
- warden：linux中的一种容器型虚机。本文中的方法用warden在同一个linux中隔离CF的各组件
- git：版本工具
- stemcell：嵌入了BOSH Agent的VM模板。BOSH Lite使用Warden CPI，所以需要Warden Stemcell。

Cloud Foundry组织的官方文档是用一台linux宿主机作为bosh client，在其上建立bosh server虚拟机，然后部署CF到这个bosh server虚机中。部署完后，boshlite(作为bosh server)是一个虚拟机，里面用warden方式建立了CF的各组件。

官方方式原理：
- 用vagrant创建一个virtualBox虚拟机，包含了bosh server
- 通过bosh client，连接bosh server，将CF代码等上传到bosh server虚拟机
- 通过这些代码和配置，在bosh server虚拟机中部署用warden隔离的CF组件

我平常的工作电脑是windows，本来想直接在windows下进行部署操作的，过程中得到以下结论：
- 用vagrant创建virtualbox的基础CF虚拟的步骤，经测试在windows下是没有问题的
- bosh client部署过程中有一些问题，到后面步骤执行不下去。主要是ruby脚本的执行问题（本来是按linux写的）
- 部署过程中有大量需要联机下载的步骤，由于网络问题，且很容易中断。这部分对理解CF的架构没什么大帮助，但花费了大量时间。

转换思路：
- 用windows下的vagrant创建bosh server的虚拟机，把bosh client也部署到这个虚机中，用这个bosh client再操作后续步骤
- 其它操作与官方文档相似
- 能离线安装的部分都预先下载下来，部署时可以加快速度

实验环境：windows7 64bit，8G以上内存
一定要64bit，32bit没测试，不知道。说是在windows里安装，其实只是用到windows下的virtualbox和vagrant。最终效果是在windows上有一个CF的虚拟机。VirtualBox支持win、linux、MacOS，所以以下大部分步骤在其它OS上应该也是可行的。

一、在windows指令下操作

- 安装virtualbox

Virtualbox [ https://www.virtualbox.org/wiki/Downloads]
安装好就行，不需要手工建虚机。这个就不说了，要了解的话网上有很多资料。

- install vagrant
Vagrant [ http://www.vagrantup.com/downloads.html]
图形化安装，也没什么好说的。

- 配置Vagrantfile，启动bosh lite (server)虚拟机
c:\> cd d:\
d:\> mkdir vagrant
d:\> cd vagrant

这个文件在boshlite的源码中，我已经把它拿出来了，并作了修改。在d:\vagrant下建立这个文件。

###
VM_MEMORY = ENV.fetch("VM_MEMORY", 4*1024).to_i
VM_CORES = ENV.fetch("VM_CORES", 4).to_i
BOX_VERSION = 217Vagrant.configure('2') do |config|config.vm.hostname='bosh-lite'config.vm.box = "boshlite-ubuntu1204-build#{BOX_VERSION}"config.vm.network :private_network, ip: '192.168.50.4'config.vm.provider :virtualbox do |v, override|#override.vm.box_url = "http://bosh-lite-build-artifacts.s3.amazonaws.com/bosh-lite/#{BOX_VERSION}/boshlite-virtualbox-ubuntu1204.box"override.vm.box_url = "file:///c:/temp/boshlite-virtualbox-ubuntu1204.box"v.customize ["modifyvm", :id, "--memory", VM_MEMORY]v.customize ["modifyvm", :id, "--cpus", VM_CORES]endend
###

其中vagrant的虚机模板最好预先下载（boshlite-virtualbox-ubuntu1204.box）。不下载的话，vagrant up时从互联网安装，特别慢。下载地址：http://bosh-lite-build-artifacts.s3.amazonaws.com/bosh-lite/#{BOX_VERSION}/boshlite-virtualbox-ubuntu1204.box
我用的是217版本，所以是http://bosh-lite-build-artifacts.s3.amazonaws.com/bosh-lite/217/boshlite-virtualbox-ubuntu1204.box。如果要用最新版本，从boshlite的源码文件中查看版本号。懒人可以到这里下载217版本。

以上的Vagrantfile文件中假设下载文件放在c:\temp\boshlite-virtualbox-ubuntu1204.box

d:\> vagrant up

最后有报错也无所谓，后面可以正常运行。

如果需要操作vagrant：
vagrant halt（停止虚拟机，注意要在Vagrantfile文件所有在目录下执行）
vagrant destroy（删除虚拟机，注意要在Vagrantfile文件所有在目录下执行。默认删除default，会有提示）
vagrant up（启动虚拟机）

- 添加路由，目的是从windows中访问CF组件时，通过这台bosh server作用路由（因为CF组件在这个bosh server中）。windows里执行下一句：
route add 10.244.0.0/19 192.168.50.4

二、在vagrant创建的linux中操作

这个boshlite的虚拟机中有很多package已经安装了，例如ruby、git，所以用它做bosh client可以减少很多步骤。

- ssh登录，127.0.0.1:2222（或192.168.50.4:22），用户名/口令为vagrant/vagrant。ssh工具就不说明了，自己去找SecureCRT或Putty。

- 改apt的source.list，改为国内源（改了之后会快很多）
修改源地址：
$ sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
$ sudo vi /etc/apt/sources.list

:%s/us.arch/cn.arch/g
:wq

$ sudo apt-get update
大概有90个左右get任务。

- 安装bundler
$ sudo env PATH=$PATH gem install bundler

- 下载bosh-lite
$ cd
$ mkdir workspace
$ cd workspace

方式1：（速度还可以，推荐）

$ git clone https://github.com/cloudfoundry/bosh-lite

方式2：（用我下载的：到这里下载bosh-lite.tar）
$ tar xvf /vagrant/bosh-lite.tar

注意：linux里/vagrant目录实际就是windows下的d:\vagrant目录，这是vagrant在启动虚拟机时建立的一个共享。将需要用到的已下载文件放在d:\vagrant下，可以省去sftp到linux里的步骤和空间。以下凡是使用/vagrant/xxx的地方，都假设xxx已经放在了d:\vagrant目录下。另外必须用vagrant up启动，才有这个共享，在linux里reboot不行，需注意。

然后
$ cd bosh-lite
$ bundle
可能有一些warning，可忽略。根据网络情况，可能会花一些时间

重启一下虚机，bosh会放到路径中（在windows里用vagrant halt，然后再vagrant up）。原因是什么还未搞清楚，反正重启一下时间不长。

- 用bosh上传stemcell

$ bosh target 192.168.50.4
admin/admin

以下的latest-bosh-stemcell-warden.tgz文件我已下载， 到这里下载。（或可从http://bosh-jenkins-gems-warden.s3.amazonaws.com/stemcells/latest-bosh-stemcell-warden.tgz获得，新，但不保证可顺利使用）
$ bosh upload stemcell /vagrant/latest-bosh-stemcell-warden.tgz

- 安装spiff
$ sudo apt-get install golang

$ cd ~
$ export GOPATH=~/go
$ export PATH=$PATH:$GOPATH/bin

方式1：（比较慢）

$ go get github.com/vito/spiff

如果中间断了，再运行报错的话，rm -r ~/go/src，再运行

方式2：（文件我已下好：下载go.tar）

$ tar xvf /vagrant/go.tar

- 部署cloud foundry
$ cd ~
$ cd workspace

方式1：（很慢，可能会中断）
$ git clone https://github.com/cloudfoundry/cf-release
$ cd cf-release
$ ./update
$ git checkout v169
$ bosh create release releases/cf-169.yml  #有了cf-169.tgz，这句就不用了
$ bosh upload release releases/cf-169.tgz

方式2：（以下的文件我已做好：下载cf-release.tar，下载cf-169.tgz）
$ cd ~/workspace
$ tar xvf /vagrant/cf-release.tar
$ bosh upload release /vagrant/cf-169.tgz

然后
$ cd ~/workspace/bosh-lite
$ ./scripts/make_manifest_spiff

$ bosh deploy
部署花费比较长时间，如果虚机是在SSD硬盘上的，如果CPU比较强，速度会比较快。

-验证：
$ bosh vms
....
+------------------------------------+---------+---------------+--------------+
| Job/index                          | State   | Resource Pool | IPs          |
+------------------------------------+---------+---------------+--------------+
| api_z1/0                           | running | large_z1      | 10.244.0.138 |
| etcd_leader_z1/0             | running | medium_z1     | 10.244.0.38  |
| ha_proxy_z1/0                 | running | router_z1     | 10.244.0.34  |
| hm9000_z1/0                  | running | medium_z1     | 10.244.0.142 |
| loggregator_trafficcontroller_z1/0 | running | small_z1      | 10.244.0.10  |
| loggregator_z1/0                   | running | medium_z1     | 10.244.0.14  |
| login_z1/0                         | running | medium_z1     | 10.244.0.134 |
| nats_z1/0                          | running | medium_z1     | 10.244.0.6   |
| postgres_z1/0                      | running | medium_z1     | 10.244.0.30  |
| router_z1/0                        | running | router_z1     | 10.244.0.22  |
| runner_z1/0                        | running | runner_z1     | 10.244.0.26  |
| uaa_z1/0                           | running | medium_z1     | 10.244.0.130 |
+------------------------------------+---------+---------------+--------------+

如果显示以上内容，恭喜你，安装成功了！

如果有问题，可以先重启系统看看：
$ sudo reboot
VM重启后用bosh vms查看组件情况。各虚机启动可能比较慢，可以不断地用bosh vms查看状态。 如果出现http500错，输入以下指令：

sudo sv restart director

经过多次实验，如果顺利的话，2个小时可以完成一个单VM下的Cloud Foundry环境。有兴趣的话，可以把bosh server和CF分开，以及把CF的各组件分开，这样可以分布式部署，更好地理解Cloud Foundry部署过程。