確かに気になることですが、撤退は難しいでしょうね。行政の人ならアウトです。
もちろん、署名運動やビラ配りをしていれば警告できることでしょうが、ビラ張り程度では、問題なしとみなされるでしょう。表現の自由とか何とかで。