上尾駅行きのバスに乗って裏参道バス停で降りて、
氷川神社西駐車場を通りに抜けて行くという手もある。