Yo configuro bien PAM y siempre que puedo doble validación, ya sea con google-authenticator o las diversas alternativas que existen... si no va a ser un caramelito para los cansinos que van buscando donde pueden entrar para jugar.
En el curro todo es más complejo pero si es un servidor para tu web, etc... con eso te sirve para ponerlo dificil.
También como te dice el compañero Maxtorete puedes configurar el acceso a traves de clave publica/privada... con puttygen generas tu clave privada .ppk, copias la pública y la configuras en el authorized_keys del directorio .ssh del home de tu usuario en el servidor... luego desactivas la autenticacion por passwd y activas la autenticacion por clave publica en el sshd_config
PubkeyAuthentication yes
AuthorizedKeyFile ~user/.ssh/authorized_keys
PasswordAuthentication no
ChallengeResponseAuthentication no
Luego solo tienes que añadir la privada en el putty en la seccion ssh - auth