mmmm... suena a cuello de botella al hacer la transferencia de datos.
A lo mejor es que tienes el antivirus en modo paranoico y monitorea todo lo que entra-sale del pc y te consume recursos.
Otra posibilidad es que el pendrive esté en mal estado. No sé si tienes otro para probar.
Y otra es que uses Windows Vista, pero esa ya la descarto.