Segun he leido, siempre recomiendan meter en el kernel solo necesario para que el sistema arranque y dejar todo lo demas como modulo.
Por ejemplo, en el kernel meto el reiserfs porque mi / esta en ese formato, si no lo pongo... pues nada que no arranca
El resto todo en modulo (la tarjeta de red, los puertos serial, el paralelo, el firewire, el usb, el driver DRI de la Radeon...).
Con ello tengo la ventaja de tener desactivado (comentando la linea en el fichero /etc/modules) todo aquello que no utilizo (sobretodo los puertos paralelo y serie).
Supongo que debe haber una forma de que se activen y desactiven de forma automatica modulos cuando el sistema lo requiere, pero desconozco como hacerlo.