En rendimiento puedes llegar a sacar bastante, ya no solo con flags especificas y aligerandolo sino ya con compiladores especificos, el problema es que en lineas generales cuanto mas rendimiento quieras sacar mucho mas vas a tener que toquetear y pelearte.
Personalmente he tenido el kernel compilado bajo icc(el compilador de intel) y si, cuando funcionaba volaba pero o dejas el sistema monolitico o vas a pasar mas tiempo arreglando errores que funcionando(intel tiene withepapapers para ver las guias principales, pero son un pelin escuetos)
Lo dicho puedes aumentar el rendimiento del kernel una burrada, si son trabajos que por ejemplo mueven mucha memoria con el ICC y las instruciones que tiene para los micros nuevos tranquilamente puedes doblar el rendimiento, lo que si preparate a estar días para hacer que funcione.
A mi manera de verlo lo que ganas en rendimiento no compensa lo que pierdes en actualizaciones y comodidad, solo es cuestion de usar un linux que te deje usar kernels algo toqueteados pero que ya te los den así, sino volvemos a las mismas
