Creo que tienes que saberla de antemano, o si te es posible usar wildcards... Si no te queda otra, te instalas un servidor ssh en tu ordenador y te los pasas desde la sesión remota.
También puedes usar un programa de ftp que pueda conectarse mediante ssh, es lo que hago para pasarme archivos en estos casos, muchísimo más cómodo que scp. Por ejemplo, gftp puede.
Otra opción es usar sshfs, que sirve para "montar conexiones ssh" en un directorio local, es muy útil. Lo uso para editar los archivos de algunos servidores de prácticas desde mi editor de textos en vez de tener que usar nedit, lo abres como un fichero local y al guardarlo se modifica en el servidor.