La memoria de la maquina virtual y del sistema anfitrion estan separados unos de otros, por lo que no afectaria, asi el uso de recursos, como el puerto USB estaria aislado para usarse solo por la maquina virtual. El problema vendria, como te indican, el de como esten vinculados el sistema anfitrion y esa maquina virtual, si mediante una LAN virtual o compartiendo el acceso a un disco o particion o a otro recurso.
Pero pues nada como tener un antivirus en la maquina anfitrion o en la maquina virtualizada