En el Kernel, ademas de nuevos drivers, se mejoran los antiguos, se optimizan protocolos, la gestión de memoria...
Ahora bien, si por una mejora del 1% en la memoria tienes que cargar 120 drivers nuevos, pues no compensa. La solución puede ser, como bien dice blackgem, es compilar el kernel tú mismo. Las distribuciones crean kernels genéricos para que funcionen en casi cualquier PC, pero con un poco de maña y un par de tutoriales no te será difícil eliminar toda la morralla que no te valga.
Por ejemplo, si es un PC de sobremesa, puedes eliminar todo lo que tenga que ver con WiFi. A la hora de iniciar se notará bastante, pues tendrá menos módulos "en los que buscar".