smtp? pop3? imap? webmail? todo?
Autentificando contra que? contra /etc/passwd? mysql? ldap?
Yo personalmente como smtp, usaria postfix. Tienes un sinfin de howtos de como configurarlo, con ssl, autentificacion contra lo que se te ocurra etc.
para la recepcion del correo por parte de los usuarios, lo tipico suele ser tirar de pop3/imap y montar un webmail en lamp que tira contra el imap localhost.
Vamos, que no va a ser un servidor, sino varios, dependiendo de los protocolos que quieras soportar.
smtp: postfix
pop3/imap o sus versiones seguras: dovecot mismo
webmail: squirrel mismo sobre apache, pero vamos podria ser cualquier.
por google tienes miles de howtos de como configurar cada cosa.
Para hacerte un montaje completo, seguro, pijo y pa dejar callao al profe del proyecto, lo suyo seria montar postfix con conexion ssl, pop3s y imaps sobre dovecot, todo autentificando contra ldap. Y sobre ello apache con https para ofrece un webmail que tira sobre el imap en localhost.