Pues así de primeras no sabría decirte... las fuentes suelen ocupar bastante cuando son compiladas, pero hasta el punto de ocuparte esos 5.5 Gb... Claro que según dicen XFree necesita 4 Gb, aunque la verdad es que nunca lo he notado.
De todas formas, las fuentes compiladas se limpian una vez instaladas, y por mayor seguridad siempre puedes hacer:
# rm -r /usr/portage/distfiles
que eliminará las fuentes bajadas de internet tambien y
# rm -r /usr/tmp/portage
que eliminará los archivos temporales resultantes de la compilacion. Aunque no es recomendable hacer esto por si las moscas tuvieses que volver a instalar, ya que se tendrían que volver a bajarse de internet y a compilarse.