A ver, no se si lo que pretendes, es instalar un servidor ftp que trabaje con cuentas virtuales (sin que existan los usuarios reales en el sistema), o creando usuarios reales en el sistema.
Si lo que pretendes es lo último lo normal, es que te crees en ese servidor los usuarios que creas convenientes (con su clave pertinente) y si no hay nada raro podrás entrar al ftp con esas nuevas credenciales (siempre y cuando el servidor ftp esté perfectamente configurado y no tengas ningún tipo de restricciones como firewalls o similares)
Si no sabes crear usuarios, en una consola, como root teclea "adduser nuevo_usuario"
Lo de la velocidad que comentas, es normal, sftp es un protocolo que encapsula el ftp bajo un tunel y cifra los datos, puedes aumentar su velocidad cambiando el modo de cifrado que usa por defecto a uno más simple (siempre será mejor que no usar ninguno, como el ftp genérico)