La diferencia es que como lo estás haciendo ahora estás metiendo en la TV señal de vídeo compuesto a través del euroconector (cable amarillo conectado al adaptador que comentas), mientras que el cable Scart-RGB (el de retrocables o cualquier otro) saca señal RGB en lugar de compuesto, es decir, separa los elementos de la imagen en diferentes pines haciendo que la calidad sea bastante superior. Si pruebas el cable RGB no volverás a tocar el compuesto en la vida (pero esto para cualquier consola que se conecte a un CRT).
Eso sí, para una Xbox lo que se suele hacer (y lo que todos te van a recomendar) es usar cable por componentes (Y/Pb/Pr) que es la que mejor calidad ofrece, aunque para eso necesitas una TV que tenga estas entradas y las CRT no suelen tenerlas salvo algunos modelos muy recientes... Para esto necesitas el cable con 5 conectores: 2 de audio (blanco-rojo) y 3 de video (verde-azul-rojo) y cambiar la consola a NTSC para tener video progresivo, muy sencillo en tu caso porque ya la tienes modificada.
Espero que más o menos me haya explicado.