Programa/metodo que devuelva la lista de archivos de una URL

Si con el navegador no puedes, es porque han capado el acceso fuera del indice del directorio. Así que no se debería poder.

La pagina muestra error 404.

Que da error 404 ya lo sé...

Vamos a ver, en esa "carpeta" (URL) hay unos cuantos archivos PDF con las Condiciones Legales de diferentes Planes Amigo de Jazztel. Como por ejemplo: http://static.cyberclick.es/j/jazztel/p ... 014-v3.pdf
Pues bien, yo necesitaría acceder a uno de esos PDFs antiguos, que como ya no está enlazado en su web, pues no tengo la URL completa que apunte a dicho archivo. Pero está ahí, en esa "carpeta" http://static.cyberclick.es/j/jazztel/p ... /download/

Entonces, quisiera saber si existe algún programa, método, manera... de acceder a la lista de PDFs que hay ahí, de manera que ya tendría la URL completa para acceder al PDF que necesito.

Si el servidor web esta medianamente bien configurado no tienes acceso a esa lista para ver todo lo que hay.
Lo que puedes intentar es "adivinar" el nombre del archivo que te interesa siguiendo como ejemplo el que has colgado plan_amigo_jul_sep_2014-v3.pdf, por ejemplo, he sacado la promo anterior siguiendo esos parametros plan_amigo_abr_jun_2014.pdf si no va prueba añadiendo -v2,-v3, si aun asi falla intenta variar un poco los nombres (poner los meses escritos enteros, quitar el año...)

Sí, ya he probado a intentar "adivinar" cómo se llamaba, siguiendo las pautas de los nombres del resto de PDFs que aún están enlazados, cambiando un poco el nombre, etc... pero por el momento no lo he conseguido "adivinar".

Imposible ya que los servidores web contemplan no mostrarte toda la lista de archivos.

Te será mas fácil buscarlo por google y seguro que en webs donde hablan de operadores hay una parte del foro donde encontrarás esa información.

También Jazztel está obligada a darte esa información.

Prueba a descargarlos con algun programa tipo httrack