手動/自動テストのテストケース管理
UIテストの自動化において、すべてのテストケースを自動化するのは難しい(※1)ため、はじめに自動化すべきテストケースと、手動でおこなうテストケースに切り分ける必要があります。一般的に、以下の観点から自動化するテストケースと手動でテストするテストケースを選定していきます。
- 費用対効果(自動化の複雑さ・難易度など)
- 人の操作や検証(見た目・デザインなど)の介入の有無
- テストツールでのオブジェクト認識の可否
※1.テスト自動化においては、自動化すべきテストケース、自動化が難しいテスト ケース、自動化すべきでないテストケースがあり、自動化に向いていないテストケースも存在します。詳細については、本Blog記事(テスト自動化における 10 のベスト プラクティス #1: 何を自動化するか)をご参照ください。
テストツールを使用してテストを作成し、テスト自動化をはじめると、1つの課題が出てきます。それはテストケースの管理です。テストツールによって自動化したテストケースと、自動化していない(手動テスト)テストケースを管理する必要がでてきます。昔ながらの方法で、Excelなどを使用してテストケースを管理した場合、以下の問題が発生し、結果としてテストの運用・管理が難しくなり、いずれ破綻してしまう恐れがあります。
- 自動化によって定期実行されるテスト結果のアップデート作業に時間がかかる。
- 増加するテストケースを管理しきれず、常に最新の状態に保てない。
- テスト状況を確認し難い。(テスト実施漏れが発生しやすい)
- 手動でのアップデートにより、人員的ミスなどが発生しやすい。
上記のことから、テスト自動化においては、テストを自動化するためのツールと、テストをより効果的・効率的に管理するためのツールが必要となります。
UIテスト自動化ツールである Ranorex は、同じ開発元から提供されているテスト管理ツールである TestRail と連携でき、以下のような利用が可能です。
- TestRail で作成したテストケースを Ranorex でインポートすることや、逆にRanorexで作成したテストケースをTestRailにエクスポートすることができます。
- TestRail で管理しているテストケースとRanorexのテストケースを紐づけることにより、Ranorexで実行したテスト結果をTestRail で管理しているテストケースに自動登録することができます。
TestRail
Webベースのテスト管理ツールのトップブランドであるTestRail。TestRailはシンプルで使いやすいUIを提供し、テストにかかるさまざまな管理コストの削減に貢献します。