Sólo se me ocurre que lo que estas haciendo es activar el modo HD o VGA con un cable de video compuesto [el que viene de serie con la consola (con clavijas amarilla/rojo/blanco)] lo que resulta imposible, con éste cable sólo puedes poner las señales NTSC/PAL.
Para activar el modo HD necesitas el cable de video por componentes [verde/azul/rojo/blanco/rojo] que te permite las resoluciones de 480p, 480i, 576i, 720p, 1080i. Y cuando conectes éste cable también es necesario hacer un ajuste en el navegador de la consola para que saque la señal por componentes, desde el navegador tienes que ir a opciones de video y seleccionar YP/Pr/Pb (o algo así xD).
El modo VGA se explica solo xD, cuando tienes el PS2 conectada por VGA.
Y te recomiendo cargar mejor Xploder HDTV Player con FreeMCBoot, más practico, pero sobre eso ya tu sabras.
EDITO: Koenigsegg CCX Bienvenido a EOL
Hay un projecto homebrew llamado GSM, que viene a ser muy parecido al Xploder pero no te da el corte de la pantalla en los modos HD, puedes encontrarlo aqui mismo en el foro. Para activar los modos HD se encesita si o si el cable de video por componentes.