サッカーでも「攻撃的な、侮辱的な、または下品な発言や身振りをする」ことは重大な反則行為として規定されてる。だけどはっきりと目に見えるものではないからそれを理由に退場宣告はしづらい。
明らかに審判の目の前で現行犯でない限り。
けど実際はそんなことないよね。そもそもそういう言葉の暴力とか態度って審判に見えないように影でこっそりとするものだし。
それで審判本人がその目で見れなかった以上「問題発言があっただろう」って推測だけでカードを提示するわけにもいかない。
普通のプレーによる反則とかラフプレーなら後で映像を見返して、あれは適切だったとか誤審だったとか振り返りもできるけど言葉の暴力ではそういうことはできない。
つまり本人が申し出ない限り迷宮入り、言われた方も泣き寝入りするしかないのが現状。

うーさんがおっしゃる名誉棄損罪によって訴えるって言うのは、発言が雑誌なり新聞なりテレビ放送なりSNSなり誰にでも可視化できるようになって本人が発言したと言うことがはっきり分かるからできることなんだよ。