Es curioso porque la regulación no dice prácticamente nada al respecto de esto.Salvo que tengas algún pacto de disponibilidad en tu contrato, se supone que aquí manda el sentido común.
Habría que ver si era tan necesario que fuerais, si no se os podía sustituir, etc..
Lo suyo sería ir, y después comprobar si de verdad era tan necesario que volvierais al trabajo. Aunque claro, las vacaciones caducan si no las tomas dentro del año... y sabemos como son muchas empresas...
Si vas, lo primero que tendrías que hablar es que va a pasar con tus vacaciones restantes, si te las conceden el año que viene o se hacen los locos. Si no vas, y entiendes que tu trabajo no es "vital" para el devenir de la empresa, eso no debiera ser causa de despido procedente.