No soy un experto en la materia, pero así de primeras se me ocurre esto.
¿Que cable de vídeo usas en la xbox?
Si es el de componentes, fíjate en que la palanca que tiene en la parte que se conecta a la consola no este en HDTV sino en la otra posición (para tv de tubo) y conecta el cable amarillo de vídeo de la consola a la capturadora. Y luego prueba a grabar algo a ver si así te funciona.