使用测试工具解决产品问题(译)
标准的网站监控工具能接通网页并证明他们正在响应,而他们不会向你警告一个问题。但是你能使用压力测试技术去监测你的网站,通过跑一个交互脚本能检测出问题并生成必要的邮件。它像一位安静的哨兵持续运行,从来不睡觉或者休一个假,提升了你的网站可靠性。
我们的网站包含了一个用户登录,用户认证过程偶尔被停止。我们标准的网站监控工具能接通主页并验证网页在响应,但是可能与不在我们适当放置的工具外的网页交互。当客户向我们警告一个真实的问题时我们只能了解它。这是不可接受的,我们不得不找到一个更好的办法。
我们之前使用一个压力测试工具开发并执行一系列的压力测试,允许我们运行很大数量的用户在测试网站上做很多不同的动作。但是我们需要一种方法在重复的基础上去运行一个简单的用户去做简单的脚本,24/7,在它在我们的产品系统上影响我们真实客户前警告我们一个问题。我们的压力测试工具会作为一个单一用户做这种测试,但是当一个问题被检测出来时,它缺少一种生成警告的方法。
与我们的供应商一起工作,我们发现他们提供了一个简单的解决方案:作为一个单一用户以重复的流程并有某些出错时发出警告的方式使用一个不同的应用去执行压力测试脚本。我们现在有这种适当的流程有3年了,并且它有一个极好的解决方案。这儿是我们如何操作它。
设计测试
第一步是做一些业务分析去决定什么被测试和失败看起来像什么。当与压力测试类似,这次测试专注于不仅是网页的压力时间以及脚本运行的结果。你也需要以重复的基础上使用已知的用户名/密码组合登录产品系统的能力。
这次测试的目的是为了简单地验证网站是活跃的并且准备使用。我们的测试不包含事务(销售订单),但是你能包含这个操作;它只要求更多的工作。
我们的检查有这些:
- ·每一页需要在少于5000毫秒内加载(5秒)
- ·每一页需要正确地加载
- ·每一页需要通过文本检查(验证页面加载预期的内容)
编写脚本
现在你已有设计,你可以创建你的脚本。
首先,我们选择一个合法的用户账号能用于这个流程。(它需要存在于产品中但是被看做一个测试账号。)
我们也能增加一些我们局域网站的监控,被授权用户专门使用。这个授权通过使用安全套接层控制,所以对那些网站,我们不得不增加一些特殊的代码去支持安全套接和端口映射。
我们使用我们普通的压力测试脚本设计工具创建脚本,衡量任一特殊被监控工具需要的规则被包含在这个设计里。如果你被支持,你的支持供应商可能有一些有用的在这领域的信息。
一旦你有被设计和正确运行的脚本,现在你能推动它到监控的应用程序里。
创建监测器
跟你的供应商核实什么脚本元素需要被覆盖,因为在某些情况下你需要所有的实时文件而不仅仅是脚本。好消息是这些文件是小的。
当创建你的监测器,首先决定什么网页元素被追踪。取决于你的解决方案,每一个你选择监测的元素能使用你的协议容量的部分,所以你可能选择限制监测元素的数量。在我们的案例里,我们只需要监测页面加载结果和它需要多长时间去加载,但是你可能同时选择其他元素,就像下面任意一些。
当你保存监测器,你能看到最初的在监测仪表盘上创建的结果。
创建监测原则
一旦你创建了监测器,你能为什么样的系统用来决定通过或失败的条件去创建规则。我们只选择监测页面状态和加载持续时间。
当你有通过/失败条件的标准集时,仪表盘反应了状态。
你也需要决定你多久需要测试执行。当第一次测试仍然运行时假如第二次测试尝试开始,你能得到错误的警告,所以我们在每次测试间允许3分钟。
创建警报规则
现在你创建测试并定义什么是一次失败,你需要创建当可能失败被检测时告诉谁的规则。
我们的工具允许多于10次不同的警报活动,但是我们为我们的警报流程选择邮件。我们使用明显的邮件主题去反应网站问题。我们能发送一封邮件或者短信息,假如单元载体支持邮件地址——比如,5055551212@vtext.com。
其中一件事是区分技术是否易犯错误,偶而事件不发生在你的网站上。为了减少错误警报数,除非测试在一行里失败了3次,否则我们不生成警报。我们也建立了规则,每一小时只生成一封重复的邮件(每20次),当物价管制局正处理一个事件时,他们不需要一堆邮件告诉他们已经寻址的事件。
我们也能参与并使警报根据需要不可用,以防止计划的停机时间省城错误的邮件警报。
生成报告
这些监测工具提供了一个好的检查性能超时的方法,并生成有用的报告。这些能被剪切复制或者导出为HTML。(我发现它更易于被剪切和复制相关的信息而不是尝试解释报告生成的所有数据。)
这些是我们质量实例来的示例报告,关于奔溃和需要及时改变的登录流程:
维护可靠性
我们的工具也包括一个仪表盘视图,提供简单的地方去快速检查所有的监测器并看到是否有一个或多个问题,那可能一个更大的问题。
最初,这个工具有些强卖给美国物价管制局团队,因为使用虚拟用户测试的想法是对某些人来讲是一个新的概念。但是现在它执行得就像一个安静的哨兵,从不睡觉或者休个假,我们实际上有一个新的应用程序到来,询问我们检测他们的网站确保用户可靠性是能维护的。
这改进了我们的操作可靠性——并且这难道不是质量保证的角色吗?
转载于:https://www.cnblogs.com/fengye151/p/11518816.html
使用测试工具解决产品问题(译)相关推荐
- SkyEye——汽车电子系统仿真测试工具
随着汽车电子的发展,电子控制单元(ECU)大量应用到现代汽车上,车内网络变的越来越复杂. 在新车型的研发阶段使用专业的仿真工具SkyEye及其配套产品进行车内芯片实时仿真测试,验证车内电子系统的可靠行 ...
- 工具型产品+社区为何无法从根本上解决留存问题?
咖友提问:很多工具型产品+社区"似乎"成了标配,但用户依然是用完即走,为什么是这样的结果呢? 工具型产品的主要产品价值在于:帮助用户节省时间,提升效率: 从一方面来讲工具型的用户使 ...
- 公益化运营:如何解决工具型产品的运营困境
作者:迪迪点点滴滴 全文共 3376 字 6 图,阅读需要 8 分钟 ---- / BEGIN / ---- 工具型产品的运营:悖论众所周知,工具型产品存在着"低频.低活.用完即走.走了很少 ...
- 强大的API测试工具Hitchhiker v0.9 基于UI的断言测试,回顾2017
v0.9是Hitchhiker在2017农历年的最后一个版本,而起点正是刚过完2016农历年,农历2018即将到来,一年轮回,今天写点东西稍微回顾下hitchhiker的2017. 先还是说v0.9, ...
- soapui工具_基于开源的API测试工具!不再为web服务负载测试而发愁
通过一个可视化.拖拽式的界面,LoadUI允许您实时.交互式地创建.配置和重分配负载测试.在单一测试环境下,LoadUI提供完整的测试覆盖,支持所有标准的协议和技术.它功能强大,能从任意数量的本地和远 ...
- 并发测试工具_软件测试工程师都在用哪些测试工具?
工欲善其事,必先利其器,高效开展软件测试活动,除了测试工程师工作中认真敬业之外,还应有优秀的测试工具辅助其工作.测试工具能提高测试效率,辅助实现测试目标,提升个人的技能. 下面简单介绍一下目前业内常用 ...
- 第一百一十四期:盘点十大最新Web UI测试工具
本文为您盘点目前十大最新Web UI测试工具的各自优缺点,以方便您根据实际情况进行选择. 作者:陈峻 在过去的几年中,业界至少出现了十二种全新的UI测试自动化工具.虽然每一种工具都有各自的侧重点,但是 ...
- 10款常用Java测试工具
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 1. 美 ...
- 推荐几个手机网站在线预览测试工具
随着移动互联网的爆发,移动端的布局成了大多数企业的刚需,而手机网站也慢慢成为一个营销企业的标配,包括百度.当当网在内的很多网站,移动端流量已经超过PC端流量,越来越的企业都在建立和完善自己的手机网站, ...
最新文章
- Python实现 logistic 回归算法
- php微信公众号的服务器配置,微信公众号服务器配置选项PHP示例代码
- XXE漏洞攻击与防御
- List遍历删除元素remove()
- Pyhton入门 笔记 第三天 正则表达式与JSON
- Java Number Tips
- MAC下安装xgboost
- kafka实时日志处理
- 基于Java的网上超市系统
- 解决机关内外部办公网络故障
- 2022年电子电路铜箔行业上下游产业链分析预测及市场规模供需平衡度研究
- Matthew Dean Schwartz《Quantum Field Theory and The Standard Model》(马修·迪恩·施瓦茨《量子场论与标准模型》)中文目录
- 尚硅谷-智慧校园项目总结(项目代码在最后)
- 简历制作器App使用条款
- zotero自动安装word插件失败
- 华为计算机视觉博士,华为视觉计划发布,要做“智能世界的眼睛”
- EF An error occurred while updating the entries. See the inner exception for details.
- JavaScript 中 let 的使用
- 贪心算法解决商场买赠问题(最简单,通俗易懂,附C++代码
- Windows : bat脚本