Obviamente tienes que cargar lo estrictamente necesario, si tienes una soundblaster carga el modulo sounblaster solamente, si usas una 3com cargas solo el driver de tu 3com, etc.
Si cargas demasiadas cosas estaticamente (sin modulos) crearas un kernel monstruoso que en vez de ser mas rapido sera mas lento.
salu2