謝ることなんかなんにもないよ。

外人、と呼ぶのは本来、外国人の略語に過ぎずなんら差別的な意味合いはない。（Wikiより）
外人、という言葉に過剰反応するのは、まさにその人が日本人じゃない？からじゃないかな。