わたしは大岡山から埼スタ何度か行ってますが、混雑したことありません。いつも座って行けます。武蔵野線が交わる東川口からしか混雑しないと思います。
まあ都内の道も空いてるとは思うので、悩ましいところですが、ご参考まで。

ちなみに私は帰省先から向かうので、大宮方面から電車で行きます。まだ仕事中ですが、気分の高まって、仕事が手につかなくなってきそうです。