１人少ない状況で下手に動くほうがよほど危険だと思います。
ただ、意思をはっきり伝えることは大事だと思います。