在前面的文章执行测试用例里，已经解释了如何通过命令行来编译和执行测试用例，这样我们才有机会通过批处理的方式来将执行测试用例自动化。而我在文章系统应该有的功能里，也讲到了一个完整的自动化系统应该是能够自动收集测试结果的—毕竟我们的远景是，测试人员在晚上下班前将用例执行起来，然后在第二天上午就可以直接看测试报告了。

一般来说，测试报告需要包含以下几个信息：

1.         测试用例的通过率，通过率代表产品的稳定程度，当然这是在排除了测试用例本身的问题引起的测试失败（Test Failure）得到的通过率。前面执行测试用例里提到到的MsTest.exe生成的结果文件.trx文件就已经保存了这个信息，在资源管理器里面双击这个文件，就能看到类似下图的结果：

在上图里面，可能会有细心的读者发现里面只有3个用例，但是红圈里面标出的文字却说：“6/6 passed”，这是因为这3个用例当中有数据驱动的用例，VSTT把每一行数据都当作一个独立的测试用例。关于数据驱动测试，可以参看我的这篇文章：网站自动化测试系统—数据驱动测试。

2.         代码覆盖率信息，代码覆盖率告诉测试团队有哪些产品代码没有被覆盖到，没有覆盖到的产品代码意味着有一些用户场景我们没有考虑到，或者说测试覆盖面上有一些漏洞（Testing Hole）。如果是从VSTT用户界面上执行测试用例的话，VSTT已经自动集成了收集代码覆盖率的功能，做法请参看我的文章软件自动化测试—代码覆盖率。在这篇文章里，我将告诉你如何使用命令行做到收集代码覆盖率。

至少有两种方法将收集代码覆盖率的功能整合到自动化测试系统当中，一种是通过直接编辑.testrunconfig文件，这也是我们在VSTT用户界面操作时，VSTT 背地里帮我们做的事情，使用.testrunconfig文件的方法请参考文章执行测试用例。

另外一种方法，是更深入的分解，实际上Visual Studio收集代码覆盖率是通过一个叫做VsPerfMon.exe的程序来收集的，这个程序位于C:\Program Files\Microsoft Visual Studio 9.0\Team Tools\Performance Tools（假设VSTT安装在C盘）。当你按照软件自动化测试—代码覆盖率里介绍的步骤执行自动化测试的时候，VSTT背地里做了下面几件事情：

1.         注入用于统计代码覆盖率的代码（instrument），注入的代码在文章软件自动化测试—代码覆盖率里已经有过讲解，这里不再说了。代码注入是通过vsinstr.exe来实现的，下面是使用它进行代码注入最简化的命令（接受任何.Net程序—即.dll和.exe文件，是否支持原生C++程序我还没有尝试过）：

Vsinstr.exe –coverage image.dll

Vsinstr.exe除了在程序里面注入代码以外，还要修改程序的符号文件（.pdb文件），之所以这样做，是因为程序被注入代码以后，就不和注入前的符号文件匹配了。使用不匹配的符号文件，将会导致后面浏览代码覆盖率结果时，我们没有办法查看详细的代码覆盖信息—即哪些行的代码被覆盖了，哪些代码没有覆盖。符号文件的作用请参考文章Visual Studio调试之符号文件。

如果要给网站 bin文件夹里面所有的程序执行代码注入操作的话，可以使用下面这个简单的命令来完成：

for %f in (*.dll) do vsinstr.exe –nowarn –coverage “%f”

for命令的用法，请查看Windows帮助文件里面的批处理一章；%f使用引号括起来是避免%f代码的文件路径包含空格的情况；-nowarn这个参数告诉vsinstr不要输出警告信息了，因为懒得看， :)

2.         代码注入完成以后，启动vsperfmon.exe。在整个执行测试用例的过程中，vsperfmon.exe会在后台持续运行，收集代码覆盖率信息。你可能会奇怪，这个程序的名字怎么叫做perfmon？而不是使用什么covermon之类的名字，这是因为vsperfmon.exe本来就是用来做性能测试的，只不过是兼职收集代码覆盖率罢了。

启动vsperfmon.exe的命令很简单：

vsperfmon.exe /START:COVERAGE /OUTPUT:result.coverage /CS

上面的参数解释一下：

3.         当所有的测试用例都执行完毕以后，VSTT关闭被测试的进程。因为在收集代码覆盖率信息时，vsperfmon是和被统计的进程直接进行交互的；在保存覆盖率信息时，它需要等被收集的进程关闭以后，才能执行保存操作。如果测试时，你的网站是运行在IIS里的，你需要使用下面的命令关闭IIS：

iisreset /stop

（启动iis的命令时iisreset /start）

如果你没有安装IIS，但是你会发现在VSTS直接按下F5运行网站时，网站照样能运行，那是因为VSTS自带了一个支持Asp.Net的Web服务器WebDev.WebServer.EXE。这个程序保存在文件夹C:\Program Files\Common Files\microsoft shared\DevServer\9.0（假设你的系统盘是C，并且安装的是VSTS 2008版本）里面。

当你在VSTS里面运行网站的时候，Visual Studio采用下面的命令启动网站：

Webdev.webserver /path:<网站的物理路径> /port:<网站的端口> /vpath:/

如果是使用webdev.webserver运行网站的话，在命令行关闭这个程序的命令是（实际上是干掉这个程序）：

taskkill /im WebDev.WebServer.EXE

4.         VSTT执行下面的命令关闭vsperfmon.exe，vsperfmon.exe将搜集到的代码覆盖率保存到指定的文件当中。

vsperfmon.exe /shutdown

备注：vsperfmon.exe默认情况下只能收集同一个用户运行的进程的代码覆盖率信息，如果你是将asp.net网站放在iis里面进行测试，默认情况下，运行这个网站的应用程序池（application pool）的用户是NetworkService，这种情况下，要么用vsperfmon.exe的/USER选项指定NetworkService这个用户。要么将应用程序池的用户改成执行vsperfmon.exe的那个用户。

基本上一个测试自动化系统讲的差不多了，下一篇讲如何复用现有的自动化测试代码自动生成测试用例。

未完待续……