昇仙峡より更に奥なので

スタジアムのある小瀬から1時間では無理だと思います。
往復3時間くらいはかかるのでは？

行ったことないですが。

前泊→早朝出発で午前中参拝→スタジアム

ならギリまにあうかな？