iTunes es un programa que se le atraganta a mucha gente, a mí cuando empecé a usarlo cuando salió el iPod Shuffle 1G me pasaba igual, me irritaba muchísimo la forma de gestionar la biblioteca.
La solución que puse fue directamente evitar que iTunes gestionara la misma, hay una opción en las preferencias que puedes desmarcar para que ni renombre ni mueva los discos de sitio, se quedan ordenados por carpetas tal como tú los tengas. Para meter la música al propio iPod, si no quieres usar iTunes, hay software que te lo gestiona, pero igualmente dependes de un programa para cargar la librería.
En fin, a mí personalmente iTunes me encanta, tengo demasiada música como para tenerla por carpetas y me gusta conectar el iPod y tener una copia exacta de todo lo que tengo en el ordenador.