手動/自動テストのテストケース管理

UIテストの自動化において、すべてのテストケースを自動化するのは難しい(※1)ため、はじめに自動化すべきテストケースと、手動でおこなうテストケースに切り分ける必要があります。一般的に、以下の観点から自動化するテストケース手動でテストするテストケースを選定していきます。

  • 費用対効果(自動化の複雑さ・難易度など)
  • 人の操作や検証(見た目・デザインなど)の介入の有無
  • テストツールでのオブジェクト認識の可否

※1.テスト自動化においては、自動化すべきテストケース自動化が難しいテスト ケース自動化すべきでないテストケースがあり、自動化に向いていないテストケースも存在します。詳細については、本Blog記事(テスト自動化における 10 のベスト プラクティス #1: 何を自動化するか)をご参照ください。

テストツールを使用してテストを作成し、テスト自動化をはじめると、1つの課題が出てきます。それはテストケースの管理です。テストツールによって自動化したテストケースと、自動化していない(手動テスト)テストケースを管理する必要がでてきます。昔ながらの方法で、Excelなどを使用してテストケースを管理した場合、以下の問題が発生し、結果としてテストの運用・管理が難しくなり、いずれ破綻してしまう恐れがあります。

  • 自動化によって定期実行されるテスト結果のアップデート作業に時間がかかる。
  • 増加するテストケースを管理しきれず、常に最新の状態に保てない。
  • テスト状況を確認し難い。(テスト実施漏れが発生しやすい)
  • 手動でのアップデートにより、人員的ミスなどが発生しやすい。

上記のことから、テスト自動化においては、テストを自動化するためのツールと、テストをより効果的・効率的に管理するためのツールが必要となります。

UIテスト自動化ツールである Ranorex は、同じ開発元から提供されているテスト管理ツールである TestRail と連携でき、以下のような利用が可能です。

  • TestRail で作成したテストケースを Ranorex でインポートすることや、逆にRanorexで作成したテストケースをTestRailにエクスポートすることができます。
  • TestRail で管理しているテストケースとRanorexのテストケースを紐づけることにより、Ranorexで実行したテスト結果をTestRail で管理しているテストケースに自動登録することができます。
TestRail
Webベースのテスト管理ツールのトップブランドであるTestRail。TestRailはシンプルで使いやすいUIを提供し、テストにかかるさまざまな管理コストの削減に貢献します。