複数の環境で同一のテストを実行する場合の注意点
UIテスト自動化が進んでくると、作成したテストを他のマシンで実行したいというケースも増えてくると思います。Ranorex で作成したテストは、Windows OS上であれば、マシンが異なっても実行することができますが、実行する際に必要な設定や注意点もいくつかあります。今回は、複数の環境でテストを成功させるためのポイントについて紹介します。
テストを複数環境で実行するための事前準備
テスト実行ビルドのファイルコピー または Ranorex Agent の設定
Ranorex Studioで作成したテストを別の環境で実行するには、テスト実行ビルドというファイルを作成し、それを実行環境にコピーする、あるいはRanorex Agentを利用する2種類の方法があります。Ranorex Agent を使用することで、都度ファイルを手動でコピーする必要がなくなりますので、テストの内容が頻繁に変わる場合はRanorex Agentを利用した方がよいでしょう。この2つの方法について、概要は以下ページをご参照ください。
テスト実行ビルドの作成、およびRanorex Agentの設定の詳しい手順は、こちらからPDF資料をダウンロードできます。
テスト実行環境に、ソフトウェア要件をインストールする
Ranorex Studio 10.7.6 のテストを実行する環境には、以下のソフトウェア要件が必要です。
- Microsoft Visual C++ 2017 x86
- Microsoft Visual C++ 2017 x64 （64 bit Windows の場合のみ）
- Microsoft .NET Framework 4.8
- Visual Studio Build Tools 2019
テスト実行環境にて、コントロール パネル\プログラム\プログラムと機能 などで、上記がインストールされているか確認してください。インストールされていない場合は、手動でインストールをおこなってください。なお、Ranorex Studio をインストールすると、これらのソフトウェアは通常自動でインストールされます。各ソフトウェアを個別にインストールするのが面倒という場合は、Ranorex Studio をインストールしてください。
Webテストの場合、テスト実行環境のブラウザーに拡張機能を追加する
Chrome や Edge など、Webブラウザーを使ったテストを行う場合、かならず実行環境のブラウザーに拡張機能(Ranorex Automation)を追加する必要があります。以下ページの「1. アドオン（Ranorex Automation）の追加」の章を参照し、追加を実施してください。
テストを実行する手順
テスト実行ビルドのファイルコピーの場合
コピーしたDebugフォルダ内にある<プロジェクト名>.exe をダブルクリックで起動することで、実行がおこなえます。
Ranorex Agentを使用する場合
テストを作成した環境のRanorex Studioに表示されている、Ranorex Agentの管理画面から、緑の三角アイコンをクリックすることで、指定したRanorex Agentに対してテスト実行がおこなえます。
環境によって、実行結果が異なる(テストが失敗してしまう)場合のチェックポイント
他の環境で実行すると、テストが始まらない
exeをダブルクリックするなどでテストを実行しても、テスト対象アプリが起動しないなど、テストシナリオが始まらないという場合、以下の要因が考えられます。
- Ranorex のソフトウェア要件が不足している
⇒ 前述の「テスト実行環境に、ソフトウェア要件をインストールする」の内容を確認してください。 - 【デスクトップアプリの場合】テスト対象アプリのインストールパスが、テストを作成した環境と異なる
⇒ Run application アクションに設定されている、テスト対象アプリのディレクトリが、テスト実行環境の内容と合っているかを確認してください。
画像比較(イメージバリデーション)が失敗する
テストを作成した環境で期待画像を作成したイメージバリデーションを、異なる環境で実行した場合、同じように見える画面/要素であっても、失敗してしまうことがあります。これは、画像比較がピクセル単位でおこなわれていることに起因します。実行環境が異なると、画面やブラウザーのサイズ、解像度、マシンの種類が異なることなどで、同じ画面のスクリーンショットでも微妙な差が発生しており、それを差分として検出することで、画像比較が失敗します。
対策としては、実行環境ごとで期待画像を分けるというのが一番確実な方法です。
他の方法としてRanorex のイメージバリデーションでは、類似度などの細かい設定を調整することができます。注意点としては、類似度を0.97より下げてしまうと、本来NGとしたい検証がOK扱いとなってしまう場合があるため、下げすぎないことを推奨します。また実際にOKとしたいケース/NGとしたいケースで何度かバリデーションを試して、想定の検証結果となるかを確認してください。
通常の操作が失敗する
別の環境でテスト実行自体は始まるが、クリックや入力など、通常の操作が途中で失敗するという場合、以下の要因が考えられます。
- 【Webアプリの場合】テスト実行環境のブラウザに、拡張機能がインストールされていない
⇒ 前述の「Webテストの場合、テスト実行環境のブラウザーに拡張機能を追加する」の内容を確認してください。 - 実行しているWindows OSのバージョンが異なる
⇒ 特にWindowsデスクトップアプリの操作や、ショートカットキーの入力については、Windows OSのバージョンが異なると操作が異なる場合があります。
もし異なるOSバージョンでテストをおこないたい場合は、一度実行し、上手くいかない部分はもう片方の環境にRanorex Studioをインストールし、そのWindows OSバージョンでレコーディングなどで修正を実施してください。
まとめ
複数環境でのテスト実行は、いくつか設定や注意点があるものの、使いこなせればテスト自動化の効率を格段に上げることができます。ぜひ上記の内容を参考に、取り組んでみてください。ご不明な点がございましたら、営業担当、保守サービスにご加入の方はRanorex テクニカルサポートまでお問い合わせください。
