Es podible que te pase poque tienes activada la opcion de reconectar si se desconecta y la de eliminar servidores invalidos de la lista. Si no funciona la red, no puede conectar a ninguno y poco a poco se los carga hasta que no quedan.
Yo he tenido algunos problemas con xmule y emule porque tengo el router "muy lejos" y si le meto mucha caña a la subida la señal no llega bien al router (Como el cable es muy largo da problemas) y se me queda toda la red inutilizada durante unos 5 minutos.
Después de darle muchas vueltas me entere que no se recomienda que este cable sea de más de 10 metros y el mio es de 15 ...
No se si será tu caso, pero de todos modos puedes probar a disminuir un poco el límite de subida.
Si no quieres que los servidores te desaparezcan, busca la opción de eliminar servidores invalidos y desactivala. Aunque esto no impedirá que se te desconecte solo.