Vaamos a ver si distinguimos las cosas primero. Por un lado está la arquitectura, haciendo incompatibles entre sí algunas arquitecturas. No es lo mismo x86 que PPC, que SPARC. Por lo tanto podemos tener varios kernels de la misma arquitectura compatibles entre sí, siendo unos más o menos específicos.
Por ejemplo, dentro de los kernels precompilados para x86, los puedes tener específicos para athlon, core, pentium4... Pero eso no quita que aunque preselecciones un kernel específico para core duo/core 2 duo te venga con un sinfín de soportes de hardware que en el 90% de los casos no vas a necesitar. La diferencia radica en que, por ejemplo, si es para un core 2 duo, llevará habilitadas las opciones específicas del procesador y deshabilitadas las incompatibles. Es una mejora, sí, pero no tan importante como para que te comas el tarro.
De ahí el interés en compilar la versión a mano. Kernel ligerito y rápido para tu equipo.