まあ、「いま、話しかけられたら嫌だろうな」という時だけ自重すればいいのでは？
明らかに付き合ってる異性と歩いてる、パチ屋にいる、レンタル店でアダルトＤＶＤを選んでるなどなど。。

そのへんは普通の知り合いに遭遇した時と同じでしょ。