Es que Virtual Box emula también los interfaces de red, para que puedas seguir usando la red normalmente en el anfitrión, y el huésped vea una interfaz virtual que podrá usar a la vez. Cuando VirtualBox cede el control de un dispositivo usb al huésped se deja de poder usar en el anfitrión, lo que en caso de interfaces de red puede ser una pequeña putada.