Yo tengo un 64 bits (C2Duo), 2 GB de RAM... y vamos que no toca la swap ni de coña (uso Fedora 9 - 64bits). Tambien depende de la "caña" que le des a la maquina pero creo que bajo Linux al menos de momento con esos 2 GB tienes mas que suficiente (si haces edicion de video con Cinelerra, por ejemplo, ya la cosa cambia y esos 4 GB se agradecen).
Normalmente el elegir 32 o 64 viene por el tema de usar el plugin privativo de Adobe Flash. Que en ciertas distros de 64 bits no funciona (yo uso la alternativa libre Swfdec y con Youtube funciona muy bien).
Prefiero la distro optimizada para la cpu que toca. Aunque haya algunas librerias y ejecutables de 32 bits, estas se ejecutan mas rapido que en una cpu de 32 bits.