Buenas, yo he probado un benq XGA con la PS3 y parece similar a lo que tienes tú, yo lo puse con el cable de componentes (ya tenía uno de la PS2). Con la PS3 la configuré con resoluciones de salida 576i, 576p, 720p y 1080i y en modo de color YPbPr.
El cable de componentes iba unido a otro que venía con el proyector con los tres terminales RCA rojo, verde y azul en un extremo y un conector D-Sub 15 en el otro (que, a diferencia del VGA, no tiene las 15 patillas) y enchufado por la entrada esa de VGA/component. Y seleccionar en el proyector que el origen de la señal es la entrada por componentes, claro.
La información que da en pantalla el proyector no suele ser la resolución a la que está emitiendo, sino la resolución con la que le está llegando la señal(1920x1080 60Hz, o 1280x720 60Hz, por ejemplo), pero su resolución de proyección es siempre la misma (1024x768 en el caso del Benq que probé), es el proyector quien se encarga de adaptar esa señal de entrada.
Parece que estás más o menos en el mismo caso, necesitarías esos dos cables y unos canutillos RCA hembra-hembra para unirlos