A mi me pasaba lo mismo.
Mirando los ficheros de log (/var/log) vi errores en los logs del Xorg (ahora no estoy delante del ordenador de casa), más concretamente en el Xorg*.old, justo la última línea era un error fatal.
Me di cuenta que siempre me pasaba con el firefox encendido, ya fuera el 3 beta 5, o el 2.
Ahora ya hace unos días que no me pasa.
Lo único que hice fue revisar la configuración de refresco de la pantalla, instalar el Flashblock para firefox, y actualizar firefox 3 beta 5 a la RC1. Desde entonces ya no me pasa. No se qué de esas tres cosas fue.
Cuando llegue a casa si alguno quiere puedo detallar más lo que hice, o la información de los logs.