Si gentoo lo incluye en el ebuild (tal vez no en la r1, pero si en la r2, etc) seria tan facil como emerger normalmente xfree. Si no, se deberian hacer cosas mas raras. Supongo que lo mas fácil seria parar el emerge una vez se descomprimen los fuentes, aplicar los parches sobre el directorio de trabajo del ebuild y continuar la ejecucion del emerge.
Tambien se puede modificar el ebuild, aunque no es muy dificil, ya tendrias que vigilar lo que haces
Saludos