El VNC no es lo mejor para un server.
Prueba FreeNX, con él, no hace falta que el ordenador tenga ninguna sesión abierta, cuando te conectes se abrirá una nueva pero solo por control remoto, en el ordenador local no habrá ninguna iniciada.
Esto te permite incluso tener el ordenador en modo consola y solo arranca el entorno gráfico cuando te conectes.
Además, FreeNX va mucho más rápido que el VNC.
De todas formas, si te apañas bien en consola, lo suyo es tirar solo de ssh.