イメージバリデーションの画像領域を矩形以外で指定できますか?

いいえ、できません。
矩形のみの対応となります。