Hola, yo tenía ese mismo problema: intenté conectar la PS3 con un cable RGB de PS2 que compré aparte (un cable de un fabricante third, no de Sony), y la imagen me salía siempre en 16:9 y no en 4:3.
La solución fue la siguiente: como ya tenía el cable oficial RGB de la PS2 (de Sony), se lo puse a la PS3 y ningún problema: la imagen en 4:3 y por RGB, perfecta. Por otra parte, le puse el cable RGB de third a la PS2 y también de maravilla, así que todo solucionado.
Conclusión: usa un cable RGB oficial de PS2 (si puedes) para conectar la PS3, y no tendrás ese problema.