PhyLab Beta 测试报告

测试中发现的bug

Beta阶段新Bug

Alpha未发现Bug

遗留Bug

针对新功能的场景测试

典型用户个人信息

同Alpha测试报告

场景测试1：Markdown报告生成&移动端体验

1. 典型用户：小王
2. 用户的需求/迫切需要解决的问题：

• 做实验的时候想用实验网站生成一下实验数据，看看自己的实验结果是否靠谱
• 原有网站无法在移动端生成和查看报告。
• 生成latex报告太慢了，但小王只想看看其中某几个数对不对。

1. 场景描述：

• 小王在做实验的过程中记录了大量的数据，但对实验的过程很没底，想知道数据是否正确。
• 小王打开了物理实验网站，顺利登陆并进入实验报告区
• 小王正确选择了自己正在做的实验，并输入了所有的数据
• 小王点击生成实验报告，选择了“Markdown”报告生成，报告在几秒内生成完成并提示小王“生成成功”
• 小王点击查看实验报告按钮，浏览器新打开了一个页面显示了完整的数据报告。

场景测试2：设计性实验复习

1. 典型用户：小李
2. 用户的需求/迫切需要解决的问题：

• 快进入设计性实验考试了，想查找往届的资料复习。
• 复习pdf太长了，且对着pdf复习效果一般。

1. 场景描述：

• 小李从我们的宣传中得知该物理实验网站，很是兴奋，回到宿舍后开启电脑，看到查看设计性实验复习部分不需要注册，便直接进入了该页面。
• 小李说，今天要从光学实验开始复习了，于是选择了G01号实验，页面显示了G01的复习攻略。
• 小李在预览报告的过程中依次用鼠标点击虚线部分得到答案，在全部预览一次后小李点击”清空答案”将所有答案隐藏起来。
• 小李完成了G01的复习，又选择了其他实验开始复习。在外的时候小李打开手机也可以查看实验攻略。

回归测试

本阶段我们新增了Markdown(html)报告生成的功能，这部分是在原有latex报告生成的基础上增加的，而其他新功能/改进并没有对原有接口造成影响（设计性实验新增路由，修改密码和上传头像分别是单独的控制器）。因此主要回测的部分是latex功能是否正常。

Alpha阶段生成报告的接口是/report/create，本阶段我们将原有接口改为/report/createTex/并新增接口/report/createMD，两个接口分别对应原来latex部分的控制器以及新的markdown报告控制器。本阶段我们在开发此功能的同时为本学期新增的4个实验增加了相应的markdown报告模板。

以下是我们针对markdown报告生成以及latex报告生成的测试矩阵

包括之后在性能测试部分中我们也分别测试了新的markdown报告生成接口和老的latex报告生成接口，原有的接口是正常的。

测试矩阵

PC端测试

移动端测试

Beta 版本的出口条件

与此同时我们也计划在Beta阶段重构网站的部分功能，以提升运行性能，更好地服务于本学期以及将来需要做实验的同学们。初步计划的重构包括：以Markdown/html代替Latex/PDF（或先并存），优化移动端使用体验。

这是Alpha阶段测试报告结尾部分我们对Beta阶段的计划，两大主要功能/改进：Markdown报告生成和移动端体验优化。除此之外考虑到设计性实验考试即将开始以及综合实验部分即将结束，我们也考虑放缓增加新的综合实验内容而新增设计性实验复习模块。

本阶段的出口条件是

Markdown报告生成接口正常可用，本学期新增的实验能够生成两种类型的报告。移动端能够完成普通用户对网站的基本使用：注册登陆、生成实验报告、修改个人信息等。新增设计性实验页面，并尽可能增加其中的内容

目前来看网站基本达到了出口条件：

1. 本学期新增的四个实验均可以使用Markdown模板生成Html报告，原有实验Latex模板报告生成不受影响。
2. 移动端可以注册登陆（某些机型不能收到注册邮件），可以生成报告并以合适的方式查看（新开Tab，而不是堆在页面上）。
3. 新增了设计性实验复习页面，并初步上线了所有的设计性实验（共8个）。
4. 同时网站还修改了一些问题，目前修改密码和头像上传接口可以使用了。

在软工方面我们本阶段尝试单元测试并有了不小的进展，同时在编码过程中也对已有的一些配置进行了解耦。但仍有部分测试没有完成，部署方式也需要优化，因此下个阶段我们团队目标主要以提升软工质量为主。

单元测试

本阶段我们对上一阶段的控制台接口以及本阶段的设计性实验接口进行了单元测试。撰写测试踩了很多的坑，因此不久后也即将有一篇关于Laravel框架单元测试的技术博客。

测试结果如下：

仍有一些接口没有被测试，因此下个阶段我们将补全剩余接口的单元测试。

性能测试

本阶段新增的Markdown报告生成目的就是为了解决Latex报告生成速度慢，占用资源多的缺陷，为了直观展示两者性能上的差异，我们使用Postman和Jmeter对两个接口分别进行了测试

测试环境：阿里云1c2g云主机

单次报告生成速度

我们使用Postman分别对两个接口进行连续生成100次报告的测试。

测试结果如下：

Markdown生成一个报告用时约是Latex接口的34%左右。

并发压力测试

由于Postman仅能进行串行的测试，我们使用Jmeter对接口进行并发压力测试。

根据本项目第一届同学们测试的结果（链接），1c2g的服务器约能承受30人同时生成Latex报告。

以下时间单位为ms

1s突发测试

并发线程数：30

并发线程数：50

Latex接口运行本测试失败，生成了12个报告后服务器宕机。

Markdown接口运行正常

60s压力测试

Markdown接口：在60s内均匀地产生180个线程发起请求：

Latex接口：在60s内均匀地产生90个线程发起请求：

注意虽然Latex接口在Jmeter中返回的错误是10%，但部分返回http 200的接口实际上返回信息是“fail”，统计了服务器上生成的pdf个数为：68，既真实错误率为24.44%。

尝试以测试Markdown接口的参数测试Latex接口，同样导致了服务器宕机。

结论

以上测试可以看出，Markdown接口无论是在单次生成速度还是并发生成的资源占用和速度上，相比Latex接口均有巨大的优势。因此两者的适用范围也不同，在需要生成美观、规范的报告时可以选用Latex模板，而仅仅查看数据结果时可以使用Markdown模板。