「小人閑居して不善をなす」とは「徳のないつまらない人間は、一人で暇を持て余すとろくなことを言い出さない」という意味の教訓的な言葉です。