それは、どこのチームとの対戦で、どの辺りの席なのかによるのでは？
当然、自チームのユニやグッズは身につけていないという前提だけど。
通常ビジター自由席にはかなり熱心な人が来てるイメージなので、おとなしくしてるということ自体が空気的に難しい場合もあるでしょう。
ビジター指定席なら、おとなしくしてれば大丈夫な場合が多いかと。