「酷い顔」を困り顔、浮かない顔とも捉えられるし、単に不細工とも捉えられる。
これは翻訳者が冗談を前提としてたら前者になって、差別や悪意を前提としてたら後者になる。

不細工と冗談で言ったなんて言ってないぞ