No he probado Gentoo x86, así que no puedo establecer una comparación justa al respecto, pero aún así lo haré; de Ubuntu, tanto en x86 como en x86_64 (entre esas dos no hay gran diferencia), a Gentoo x86_64, hay una mejora apreciable en rendimiento. Y qué cojones, no encuentro ningún gran impedimento como para pensar que la arquitectura x86_64 no esté hecha para mí (sin entrar en valoraciones más técnicas que, obviamente, desconozco).
Tengo un micro pensado para esa arquitectura y quizás no sepa si es más o menos conveniente para determinadas aplicaciones, o para un determinado uso (lo que no quiere decir que no sepa absolutamente nada); yo sólo sé que estoy bastante satisfecho, de momento, al menos.