Lo del cable es completamente normal. Con componentes se ve nítido y si se ve nítido, estás viendo 640 cuadraditos de ancho y 480 cuadraditos de alto. En una pantalla algo grande, pues esos cuadraditos (píxeles) son como pequeños bloques, pero enormes comparado con un píxel de una imagen en HD.
Si conectas por compuesto, ves todo difuninado, y no hay dientes de sierra pero tampoco se ve nítido.
De todas formas, esto estrictamente no son dientes de sierra. Dientes de sierra sería cuando en una textura se ven los picos, y eso se soluciona con el Antialiasing. Aquí el problema simplemente es que juegas en baja definición, no es problema de sientes de sierra sino de unos píxeles enormes producidos por la baja definición. Un juego a 480p podría tener todos los filtros del mundo, pero si lo juegas a 640x480 vas a seguir viendo todo "dentado" porque no hay más píxeles para formar la imagen.
De todas formas, a mí es algo que no me molesta en absoluto, me recuerda a los juegos de la NES y MS-DOS y me trae buenos recuerdos.
La única solución para evitar esto es usar un escalador. La 360 lo hace por software, al igual que el Windows, cuando ejecutas un vídeo en baja resolución te lo escala a la resolución de la pantalla.