ヤジの程度によりますよね。
去年ホームでミスした選手のことをゴ◯呼ばわりしてた人がいましたが、それはさすがに許容できずに注意しました。
ヤジに拒否反応がある人は、そういうイメージがあるんじゃないですかね。