スクリーンショットなどの、テスト結果として出力される画像ファイルの形式を変更できますか？

いいえ、できません。
ただし、スクリーンショットにおいては、ユーザコード(C#または、VB.NETによるコーディング)を使用することで対応できます。

ユーザコードによる対応については、Ranorexのテクニカルサポートもしくは、担当営業までお問い合わせください。