Si al calentarse te empieza a dar problemas, entonces no hay mas duda; el problema lo tienes en la circuitería del switch. Prueba a intercambiar los cables que están conectados en el router, y mira a ver si entonces el ordenador que iba bien comienza a dar problemas de conexión, y viceversa...
Esto parece ser un problema bastante común en routers sin ventilación, ya que lo he visto en routers Linksys, Thomson y algunos Huawei. En algunas ocasiones, fallan los puertos del switch, y en otras, directamente la conexión a internet se corta hasta que el equipo se enfría. La solución, si es un router que te hayas comprado tú y no esté en garantía (como me pasó a mí con mi Linksys WAG54G v2) es cambiar los condensadores electrolíticos de dentro, o si el router te lo ha puesto la compañia proveedora de acceso a internet, entonces mejor llamales y que te lo cambien, que a fin de cuentas a ellos les cuestan dos duros...
Otra opción es la de poner un ventilador, como bien ha dicho darkpolo5, pero esto yo lo recomiendo solamente si primero le cambias los condensadores, ya que si no de todas formas el equipo va a seguir "tocado"...
Un saludo!