Por no hablar del hecho de que ese tipo de descargas implican grandes cantidades de transferencia de datos, que es justamente lo que más vale de un servidor. Ningún servidor compartido va a ofrecerte tráfico ilimitado, y si lo hace, miente, en cuanto tus descargas saturen el servidor te cortarán la conexión porque estás perjudicando gravemente al resto de usuarios del servidor compartido.
Y un servidor dedicado vale un pastón al mes (de 80 euros para arriba) y aun así con límites de transferencia mensual. Además, como dice Johny27, ningún servidor decente va a aceptar que alojes mp3 de los que no eres propietario.
Creo que tu solución podría partir de contratar algún servicio de almacenamiento de archivos, tipo Megauload, Rapidshare, Gigasize, etc. pero que acepte hotlinking. Supongo que alguno habrá, antes megaupload lo permitía pero hace un par de años que ya no.
