Depende del tono y el momento la verdad. Yo lo he utilizado tranquilamente con gente de mi entorno, y cuando he dudado les he preguntado directamente, y si que es verdad que les importa menos a ellos que a nosotros.
Supuestamente, los asiaticos "amarillos", caucasicos "blancos", mejicanos/sudamericanos "rojos".... pero nunca he visto llamar asi a ninguno del resto, solo a los "negros".
Gente de color, afroamericano, afroeuropeo, "morenos",....etc... terminos debidos al tabu que se ha creado desde hace tanto tiempo.
Tambien los gitanos llaman a los payos asi, y segun el tono tambien se detecta el mensaje...
Creo que simplemente con naturalidad se ganaria mas, por mucho que la igualdad o naturalidad con ellos sea utopica.
En USA es curioso, que teniendo un idioma menos rico en vocabulario, tienen una palabra para definir el insulto (Nigger), que es claramente despectivo. Por eso aqui creo que depende totalmente del contexto y el tono empleado.
Lo de "gente de color", siempre me ha parecido gracioso/curioso ^^ (de que color !?
)