El -O3 alarga en exceso (muy en exceso) el tiempo de compilación y sólo mejora en contadísimos casos. Lo ideal en x86 es lo que comenta Ferdy y si queréis cuatro detallitos más, como -ftracer (que seguro que me lo desrecomiendan) o en C++ -fvisibility-inlines-hidden, pero en general es recomendable no pasarse.
El programa te compilará, arrancará y funcionará, pero cada CFLAG que añadas será un pequeño riesgo más de que pete. A veces la gente se cree que por añadir un CFLAG es como si tunearan poco a poco un motor, del plan mira que bien, he ganado 25 CV por la cara con una centralita de tal, ahora le añado un turbo, ahora le cambio los filtros de aire, etc etc. No es tan sencillo, y si lo fuera todos los flags se usarían a saco.
Lo ideal sería saber para cada programa y arquitectura qué flags le merecen la pena, en vez de tener siempre una serie de flags predeterminados, o incluso si para ciertos programas es o no necesario ir más allá de un -O1 para ahorrarse tiempo de compilación. Pero está claro que sería un trabajo de chinos y además, cualquiera te dirá que la optimización a saco no ha sido nunca el objetivo de gentoo, más bien un efecto colateral, y con moderación.
Total, el vim no creo que vaya más rápido por compilarlo para athlon 64 o no.
salu2
P.S.: os juro que no me he pasado a Debian