Lo de mantener el botón pulsado no lo hagas, eso vale para volver de hdmi a cable tradicional.
Me parece que al usar el ajuste auto, la PS3 usa un modo no soporado por tu panel, prueba con los dos cable conectados a cambiar a HDMI desde video compuesto y no marques ningún 1080, despues si te funciona prueba a ver si te coje 1080i o 1080p, unos cojen una pero no la otra, si así como suena.