相手の社会的評価を下げる発言が複数人に知れる状態でされたのであれば、たとえ職場での発言であったとしても、名誉毀損罪は成立する可能性があります。
たとえば、同僚などがいる場での大声での発言や、複数人に対するメールの送信などです。