Te vas a complicar la vida de forma importate. Como te dicen, apenas notarás el cambio es ese equipo (que si lo notarás, sobre todo en el arranque). Pero claro, vas a tener que especificar todo aquello que quieras usar, tales como módulos wifi, ethernet, bluetooth, y si coincide que un día cambias alguna pieza de harware, tendrás que recompilar el kernel o añadir los módulos nuevos a usar.
Como te dice Donato, lo mejor que puedes hacer es pillar el config de ubuntu e ir quitando todo aquello que te sobre, y lo que no sepas que es, no lo modifiques. Buscando en google encontrarás la descripción de prácticamente todos los parámetros, pero es una tarea tediosa, si te compensa o no...es cosa tuya xD.
No obstante, nunca está de más saber compilar un kernel, aunque yo lo tengo claro, para el sobremesa no compilo kernel, para el portátil si (no obstante, mi portátil es muy específico y el AUR de Arch me facilita enórmemente ésta tarea).
Si quieres notar cambios radicales en rendimiento, instálate Debian o Arch, que con el kernel de serie irás mucho más ligero.
