Lo que tienes que hacer es dejar la configuración de Ip de la Xbox en automático.
Cuando conectes lo cables xbox-modem, desnchufa el modem unos 10 seg y vuélvelo a enchufar.
Luego, haces la prueba de conexión.
Eso debería funcionar.
Merece la pena comprar un router y tener conectado tanto el ordenador,la xbox y el modem a éste.
Un saludo.