東海道本線が1時間に4〜5本しかなく、最大20分開きますからね。
清水駅に向かう帰りのシャトルバスの渋滞も考えると、よっぽど緻密なスケジュール立てないと厳しいんじゃないでしょうか。

静岡駅から5〜600mくらいのところに桜湯という銭湯があるようですが、そこはいかがですか？
スーパー銭湯ではなく、いわゆる普通の街中の銭湯のようです。
私自身は行ったことはないのであまり細かい事まではわかりませんが。