Puede que tengas algún fichero en uso, cuyo fichero no se borrará.
Puede que tengas en las configuraciones del finder, el borrado seguro activado, con lo cual tardará más.
En cuanto a borrar desde el Terminal, yo no he tenido ningún problema nunca; sudo rm -vf /Users/nombre.de.usuario/diretorio/lo.que.se.quiera.borrar (añadiéndole un R seguido de vf si es un directorio)...