TwitterやInstagramでフォロー外すのはその人の勝手ではないでしょうか？
その人があなたのツイートや投稿を見る必要がないと思えばフォロー外すし別に悪気はないと思います。
そういうのが嫌ならばSNSは向いてないと思いますよ。