Hombre, pues ahí le puedes meter cualquier distribución, yo tengo un p4 a 2.67Ghz con arch+gnome y vuela. Si lo que quieres es velocidad, huye de ubuntu.
Yo le metería arch, aunque la instalación es larga y algo compleja (que no complicada), siguiendo la guía no da problemas, por tu firma supongo que no partes de cero en linux. Otras distribuciones con fama de rápidas son slackware, debian, gentoo y algunas más. En todo caso, la clave seguramente sea instalar tú únicamente lo necesario, desde el principio.