直接文句を言えっていうのは全く間違ってないでしょ。それを排除するのは不可能って話はしたでしょ。
ならそういうのが聞こえたならまず直接やめるように言ってそれでもやめなかったら席をかえるなりいろいろ対策しろよって話。