Lo ideal es que la resolución nativa de la pantalla sea igual a la máxima que puede sacar la consola. Aquí el problema es que el alto (480) es igual pero el ancho no (800 frente a 600) porque son pantallas con distinta relación de aspecto
Cuando pasa eso, una de dos: o se muestran bandas negras en esos 200pixeles que sobran o se estira la imagen. Cual de las dos se hace depende del hardware de la pantalla como tal (a veces es configurable desde el OSD)
Sobre la conexión no te puedo ayudar, pero busca info de mods similares que la ps2 es una consola muy bien documentada.
Si el valor que comentas de 600x480 es correcto y no encuentras de esa resolución, busca 640x480 que es bastante estándar, y mejor tener 40 píxeles en bandas negras que 200. Si encuentras un múltiplo exacto, como 1200x960, también va bien.
Edito: leyendo un poco, ¿seguro que la salida más habitual no es 640x480? En relación de aspecto 4:3 esa es la resolución correspondiente a 480p. 600x480 existe pero es un ratio un tanto “raro” (5:4, menos frecuente), diría que la inmensa mayoría de juegos usarán la otra.
Saludos