Mira el proyecto LTSP por ejemplo, con se encarga de que haya un pc que hace de servidor de terminales y los terminales solo tienen que arrancar por red, todo lo procesa el server pero la sensacion es de un pc dedicado para ti.
Tambien hay configuraciones y optimizaciones para que el procesado se haga en local, pero para ello si necesitarias hd y ram suficiente para almacenar los datos durante el procesado.
Si lo que quieres es simplemente un escritorio remoto (de un pc ya funcional para un unico usuario) entonces te bastara con un live cd/sd/usb que tenga un visor VNC o semejante.