あからさまな暴力ならともかく指笛だけで人を追い出す権利はないですよ。
仮にそれが認められるならエスカレートして拍手の音や歓声が煩いから出てけという話になりかねない（うるさいと言われたら同じもの）。