禁止されてるわけではないから、そこは個人の判断。
自分は行く勇気出ないけど、1人で誰にも接することなく車で行って帰ってくる、みたいな形なら岡山県内でうろうろするよりは安全だと思う(複数人とか、公共交通機関使うのは厳しいと思うけど)。