HOTEL GRASSINO URBAN RESORT 浦和
ここがオープンしたてで温泉もついてるみたいです
車で5分ぐらいだと思います。

「ハピホテ」で検索して埼玉スタジアムって入れれば付近のそれ系のホテル、いくつか出てくると思います。
温泉付きや二人だと安いしショートステイできるし、宿としての利用もありと思います。