Cuando actualices el sistema y te aparezca para actualizar Firefox, desmarcalo. Si no quieres que Ubuntu te avise de nuevas actualizaciones, puedes quitar el gestor de actualizaciones de las aplicaciones de arranque. De todos modos no es conveniente tener desactivadas las actualizaciones, ya que hay muchas que son de seguridad y corrigen bugs y agujeros importantes.