Jajajaja, perdona que me ría pero eso mismo me pasó a mi y pensé que el pendrive estaba jodido, pero no... tiene una respuesta muy tonta para este problemón !! se llama PAPELERA DE RECICLAJE !! xD
cada vez que eliminas un archivo desde cualquier disco (aunque sea externo), este se traspasa a una carpeta oculta que es la papelera, que si no vacías sigue tomando el espacio que ocupaba el archivo.
Si se puede o no se puede desactivar eso ya no lo sé, pero ese es tu problema al 90% xD