Generalmente sólo necesitas preocuparte de los temporales creados en tu home, y sólo si tienes problemas de espacio.
Gentoo es una excepción en la que no está de más limpiar de vez en cuando los distfiles y el ccache, a no ser que vayas sobrado de disco duro.