第3章

轻量级自动化运维工具Fabric详解

近期公司的业务系统代码发布频繁，笔者同时在几个项目组里面穿插工作，发现发布和运维的工作都相当机械，加上频率比较高，导致时间的浪费也比较多。很多测试工作，例如通过SSH登录到测试环境，推送代码，然后修改Bug进行测试，这些操作都是非常机械并且具有重复性的。更让人郁闷的是，每次的操作都是相同的，命令基本上都是一样的，并且是在多台机器上执行，很难在本机上以一个脚本来搞定，主要时间都浪费在使用SSH登录和输入命令上了。这个时候需要一个轻量级的自动化运维工具，来帮助我们解决这些问题，Fabric就顺应这个需求而出现了，它非常适合于这些简单的、重复性的远程操作。Fabirc是基于Python语言开发的，前文2.1节就提到过，Python应用非常火爆，接下来看看Python的应用领域及其流行的原因。

3.1　Python语言的应用领域

1.云计算基础设施

云计算平台分为私有云和公有云。私有云平台如大名鼎鼎的OpenStack，就是以Python语言编写的。公有云，无论是AWS、Azure、GCE（Google Compute Engine）、阿里云还是青云，都提供了Python SDK，其中GCE只提供了Python和JavaScript的SDK，青云只提供了Python SDK。由此可见各家云平台对Python的重视。

软件开发工具包（Software Development Kit，SDK）一般是一些开发工具的集合，用于为特定的软件包、软件框架、硬件平台、操作系统等创建应用软件。

2. DevOps

DevOps，中文名译作开发型运维。在互联网时代，只有能够快速试验新想法，并在第一时间，安全、可靠地交付业务价值，才能保持竞争力。DevOps推崇的自动化构建、测试、部署及系统度量等技术实践，在互联网时代是尤其重要的。

自动化构建是因应用而异的，如果是Python应用，因为有setuptools、pip、virtualenv、tox、flake8等工具的存在，所以自动化构建非常简单。而且，因为几乎所有的Linux版本都内置了Python解释器，所以用Python做自动化，系统不需要预安装什么软件。

自动化测试方面，目前流行的自动化测试框架有Robot Framework、Cucumber、Lettuce三种。基于Python的Robot Framework是企业级应用最喜欢的自动化测试框架，而且和语言无关。Cucumber也有很多支持者。基于Python的Lettuce可以实现完全一样的功能。此外，Locust（一个基于Python开发的开源负载测试工具）也开始在自动化性能测试方面受到越来越多的关注。

自动化配置管理工具，老牌的如Chef和Puppet，是基于Ruby语言开发设计的，目前仍保持着强劲的势头。不过，新生代Ansible、SaltStack，以及轻量级的自动化运维工具Fabric，均为Python语言开发。由于它们较前两者的设计更为轻量化，因此受到越来越多开发者的欢迎，并且已经给Chef和Puppet制造了不少的竞争压力。

3.网络爬虫

大数据的数据从哪里来？除了部分企业有能力自己产生大量的数据，大部分时候，是需要依靠网络爬虫来抓取互联网数据进行分析的。

网络爬虫是Python的传统强势领域，最流行的爬虫框架Scrapy、HTTP工具包urlib2、HTML解析工具Beautiful Soup、XML解析器lxml等，都是能够独当一面的类库。笔者公司的分布式网络爬虫程序也是基于Scrapy开发的。不过，网络爬虫并不仅仅是打开网页，解析HTML这么简单。高效的爬虫要能够支持大量灵活的并发操作，常常要能够同时抓取几千甚至上万个网页，使用传统的线程池方式资源浪费比较大，线程数上千之后系统资源基本上就全浪费在线程调度上了。由于Python能够很好地支持协程（Coroutine）操作，因此基于Python发展了很多并发库，如Gevent、Eventlet，还有Celery之类的分布式任务框架等。被认为是比AMQP更高效的ZeroMQ最早提供的也是Python版本。有了对高并发的支持，网络爬虫才可以真正达到大数据规模。

4.数据处理

从统计理论，到数据挖掘、机器学习，再到最近几年提出来的深度学习理论，数据科学正处于百花齐放的时代。数据科学家们都用什么语言编程呢？Python是数据科学家最喜欢的语言之一。和R语言不同，Python本身就是一门工程性语言，数据科学家用Python实现的算法，可以直接用在产品中，这对于初创的大数据公司来说，是非常有利于节省成本的。正是基于数据科学家对Python和R的热爱，Spark为了“讨好”数据科学家，对这两种语言都提供了非常好的支持。

Python的数据处理相关类库非常多。比如，高性能的科学计算类库NumPy和SciPy，给其他高级算法打下了非常好的基础；Matplotlib让Python画图变得像Matlab一样简单；Scikit-learn和Milk实现了很多机器学习算法，基于这两个库实现的Pylearn2，是深度学习领域的重要成员；Theano利用GPU加速，实现了高性能数学符号计算和多维矩阵计算。当然，还有Pandas，一个在工程领域已被广泛使用的大数据处理类库，其DataFrame的设计借鉴自R语言，后来又启发Spark项目实现了类似机制。

除了这些领域以外，Python还被广泛应用于Web开发、游戏开发、手机开发、数据库开发等众多领域。