大宮で歴史といえば氷川神社ですね。総本社ですし。
車や電車で少し移動してもいいのであれば川越の喜多院はどうでしょう。徳川家とのゆかりの地でもあり重要文化財も多いです。
時間の余裕があれば川越の街並みを散策するのも良いかも。
川越の駅からは多少歩くので、西口から出てる巡回バスがおすすめ。
20分前後に1本は出てたはず