Ranorex Studioを使わずにエンドポイントを指定してテストを実行することはできますか？

はい、あります。
コマンドライン実行で、エンドポイント名を指定することでご対応いただけます。

コマンドライン実行については、ユーザーガイドの「コマンドライン実行」をご参照ください。