Debian + XFCE es lo mismo que Xubuntu, asi que van a ir igual. La unica ganancia de debian + xfce es el ahorro de espacio en el disco duro al instalar menos cosas, pero van a consumir los 2 la misma cantidad de ram. Cualquier servico extra que pudiera instalar xubuntu se puede parar con sysv-rc-conf. Pero bueno, yo prefiero el netinstall de debian. Si vas a usar XFCE no deberias usar ningun programa kde. Si quieres ahorrar ram elimina 5 de las 6 consolas que corren de fondo, pon la resolucion de color a 16 bits y edita el xorg y no carges el modulo "dri" y si puedes usa el driver vesa.