Eso es porque esta usando el protocolo POP3, mira de configurarlo para usar IMAP.
POP3 - Descargar el correo a tu pc y eliminar los emails del correo web.
IMAP - Sincroniza el correo web con el del pc, de manera que todo lo que haces en el outlook, tambien pasa en el correo web. (Si eliminas, editas, etc...)