代表はFIFAが定めるAマッチデーに開催される試合に関しては各国のサッカー協会に招集をする強制力があり、一方的に拒否した場合はクラブにペナルティーがかせられます。
ただ例外として、海外のトップ選手などが、W杯終了後に代表引退を表明するケースはあります。
つまり、行きたくないから行かないというのは基本的には無理です。