做测试管理时,最容易乱的不是用例写得够不够全,而是执行入口分散、负责人不清、结果回写口径不一致。OpenText ALM本身就是按这个问题来设计的,Test Lab负责把测试装进测试集并执行,Test Runs负责回看运行结果,Analysis View和Dashboard再把这些结果拉成图表和报表,所以真正好用的关键,不是多建几个测试集,而是先把执行路径和汇总口径管顺。
一、ALM测试执行怎么管
ALM里的执行管理,不能只理解成点一下运行按钮。更稳的做法,是先把测试集、执行方式、执行人和执行顺序固定下来,这样后面手工跑和自动跑才不会各算各的。官方帮助里也明确把手工执行、自动执行、远程主机和执行条件拆开讲,说明这几项本来就是一套管理动作。
1、先把执行入口统一到【Test Lab】
进入【Test Lab】后,以测试集为单位组织执行,不要让成员各自从不同模块直接开跑。ALM的Test Lab本来就是用来创建测试集、运行手工和自动化测试并定位缺陷的,执行入口统一后,状态、负责人和运行记录才会自然沉淀到同一处。
2、手工测试放在【Execution Grid】里管人和状态
做手工执行时,从测试集树选中目标测试集,进入【Execution Grid】或【Execution Flow】,再通过【Run】选择【Run with Manual Runner】。执行过程中可以给步骤标记通过或失败、给步骤挂附件、直接提缺陷,执行完成后状态会回写到Execution Grid,步骤结果会进【Last Run Report】。
3、自动化执行先把主机和责任人补齐
如果要让自动化结果稳定回传,前置条件不能省。官方要求在自动执行前先配置远程主机,手工项还要指定【Responsible Tester】并保证邮箱有效;这样同一个测试集里即使既有自动化也有手工项,Automatic Runner也能按既定规则分别拉起工具或通知执行人。
4、需要少人值守时优先把顺序和失败规则设好
在测试集的【Automation】页里,可以提前设置失败后的重跑、清理测试、最终失败动作以及通知邮件。这样做的价值不只是省事,而是把执行节奏固定下来,避免今天人工补跑一次、明天自动重试两次,最后同一批测试的结果口径完全对不上。
二、ALM手工测试与自动化结果怎么汇总
很多团队结果汇总做不起来,不是因为ALM没地方看,而是把执行页、报告页和统计页混着用。实际上,ALM已经把即时查看、历史追溯和正式汇总分成了三个层次,只要按层次取数,手工和自动化结果可以放到一套口径里。
1、先在【Execution Grid】看当天执行面
无论是手工测试执行完,还是自动化测试跑完,第一层都先回到【Execution Grid】看当前状态。手工测试的更新状态会直接显示在这里,步骤结果在【Last Run Report】里看;自动化或测试集运行后,也可以从这里点【Last Run Report】看最近一次执行报告。
2、再到【Test Runs】看历史和导出
如果要做阶段汇总,不要只盯最近一次运行,要进入【Test Runs】看项目级历史结果。这里可以查看测试集运行详情、事件日志、执行报告,还可以通过【Edit】【Export】导出为文本、Excel、Word或HTML,用来做周报、里程碑汇报或审计留档更合适。
3、把正式统计放到【Analysis View】和【Dashboard View】
ALM的Analysis模块支持图表、项目报告、Excel报告和仪表板,适合把手工与自动化的结果按负责人、测试集、周期或状态做统一展示。也就是说,Execution Grid更像现场,Test Runs更像台账,真正给管理层看的汇总页,应该放到【Analysis View】和【Dashboard View】里。
4、需要自动发汇总时用【Execution Summary】
如果项目里有固定收件人,比如测试负责人、项目经理或版本经理,可以在测试集的【Automation】页开启【Send summary of results after test set execution】。这个功能会在测试集执行完成后把结果摘要发邮件出去,而且还能通过【Select File】指定摘要里展示哪些测试运行字段。
三、ALM结果口径为什么总对不上
结果汇总最怕的,不是失败多,而是同一轮测试出来三份数字。有人按测试实例统计,有人按测试集统计,有人又只看最近一次运行,这样再好的工具也会被用乱。ALM本身已经把几个口径分开了,只要团队提前约定,汇总结果就会稳很多。
1、不要把最近一次结果当成全量结果
【Last Run Report】适合看最近一次执行细节,但它不是阶段全量视图。要做周维度、版本维度或回归批次维度的汇总,还是要回到【Test Runs】或Analysis里的图表报表去拉历史数据,不然很容易把补跑后的最后一次状态当成整个阶段的真实情况。
2、不要让手工和自动化走两套命名方式
如果手工测试按业务场景建测试集,自动化却按脚本目录建测试集,后面想按模块、版本或负责人统一汇总时会非常吃力。更稳妥的做法,是在【Test Lab】里先按版本或业务域定好测试集结构,再把手工项和自动化项往同一套树里装,这样结果天然就能合并。
3、不要漏掉责任人和异常链路
自动执行前缺主机、手工项没填【Responsible Tester】、失败后没人收到通知,这些都会让结果表面上回了ALM,实际上却断在执行链路中。官方文档把主机管理、责任人指定、失败通知和执行摘要放在执行前配置里,本质上就是提醒团队,汇总准确靠的不是报表技巧,而是前置配置完整。
总结
ALM测试执行怎么管,关键不是把人盯紧,而是把执行入口、责任人、失败规则和结果出口统一起来。ALM手工测试与自动化结果怎么汇总,核心也不是临时拼表,而是先在【Execution Grid】看现场,再到【Test Runs】看历史,最后用【Analysis View】和【Execution Summary】做统一输出。这样一来,测试团队自己看得清,项目经理往上汇报时也不容易出现口径打架。