Una Debian Sarge no he sido capaz yo de ponerla en un 486 con 16MB de RAM.
Pero sí tengo un Deli Linux con Xorg 7.1 e IceWM instalado en esa máquina. Pero claro , la tuya es aun peor, el Deli Linux puede que le quede grande y todo.
Yo creo que las X sí funcionarían, incluso Xorg, si funciona en le mio alomejor tb en el tuyo, y sobre las X hay que ejecutar un gestor de ventanas, el IceWm y el flubox puede que incluso sean demasiado para tu equipo, pero existe un gestor llamado twm (tab window manager) estoy casi seguro de que ese iría bien, Debian sarge lo trae, pero Potato no lo sé.
De todas formas yo creo que ese ordenador te va a dar más quebraderos de cabeza que resultados, para lo único que sirve es para jugar a hacer que funcione con algo. Bueno a parte de las cosas que ya te han dicho como de servidor o de corta fuegos.
Lo de poner Debian Potato en esta clase de Ordenadores lo veo interesante, pero ¿De dónde nos podemos bajar ahora Debian Potato?