Hola. ¿Has probado a encender la consola con el RGB conectado y dejando el botón de encendido pulsado hasta que suene (unos cuantos segundos)?. Así la señal de vídeo se resetea y te sale por el RGB. Una vez hecho ésto prueba conectándole de nuevo el HDMI, y prueba metiendo tú la configuración de tu televisor y conexión manualmente, en lugar de que lo haga la PS3.
Un saludo.