審判は試合を円滑に進めるための存在です。
つまり選手のフラストレーションを溜めないことも審判の仕事。
その中で一貫したジャッジがされないことが選手は最も不満に感じるでしょう。
例えば同じアフタータックルなのに、なぜ彼は注意で俺はイエローなんだ！
ってなりますよね。怪我の度合い、観客の雰囲気でジャッジしているわけではないと思います。