Ok, cambiando el runlevel funciona. Y si, da problemas. Si cambio a modo texto (CTRL+ALT+F1), luego no vuelve a modo grafico.
El caso es que yo quería quitarlo porque trato de dejar el sistema con lo esencial, que mi pobre PIII 450 no da para mucho, y para ver si conseguía que funcionaran algunas cosillas, como las fuentes artwiz, que me salen en el xfontsel y luego no puedo usarlas en los themes. Supuse que era porque el sistema pasaba del xfs y usaba las fuentes instaladas en gnome, y que al quitar gdm arrancarían las x "limpias" (uso fluxbox, gnome se me arrastras). Igual es cosa de xorg, no tengo ni idea...
Me voy a tener que pasar a gentoo.