金＞時間なら山谷（南千住、三河島）の安宿。
近年は外国人観光客が急増してるので、きれいになってるそうです。
埼玉のどちらに行くのか分かりませんが、北千住からスカイツリーライン、上野まで少し戻れば埼玉方面へ向かうJRのほぼ全線が発着してますよ。
慣れない新宿で迷って時間を費やすなら時間的にもあまり変わらないかと……