いるだけでは反則になりません。
プレーにかかわって反則になります。
プレーにかかわるとは、相手やボールに触れなくても、例えば相手の視線を遮ぎったりすることも含みます。
具体的なことは書ききれないので、サッカー競技規則の第１１条を見てください。
ググれば、すぐに見つかります。
一言で言うなら、プレーにかかわったと「審判が判断」したということです。
それは、我々の判断ではなく、審判の判断で決定しますので、審判がそう言うなら従うしかありません。