愛野駅周辺にこだわらず、掛川駅や袋井駅周辺で停めてから、電車で行くことをお勧めします。
正直、愛野駅周辺では10時くらいでは遅いのかもしれません。