家族と一緒にいたので声かけられなかった…
と判断した貴方の対応は正解だったと思いますよ。

選手の方でも、声かけてOKの時と、今はイヤだなと思う時があると思います。

貴方が選手家族に遭遇した時遠慮したということは、声かけない方がいい場面と理解できたのですから良い対応だったと思います。

その場に居なかった第三者が、声かけろと無責任には言えません。