El problema puede que esté en tu PC, revisa que esté instalada correctamente la tarjeta de Red, prueba a actualizar los drivers.
No lo has comentado, pero por lo que dices, parece que cuando tienes conectada la Xbox al PC lo haces directamente (no pasas por un switch, router...), en caso contrario prueba a hacer una conexión directa al PC.
Revisa el cable de Red, lo mismo lo tienes en mal estado.
En la Xbox, verifica que tienes los datos de red ben configurados
saludos