A ver, voy a resumir para aclarar además algunas cosas.
1.- Todos los ordenadores deben tener la siguiente configuración (si la ip de tu router cambia respecto a su configuración, cambias tu también la configuración, en este caso, supongo que la ip del router es 192.168.1.1):
Pc1 con ip 192.168.1.2
Pc2 con ip 192.168.1.3
Pc3 con ip 192.168.1.4
Pc4 con ip 192.168.1.5
Portátil 1 con ip 192.168.1.6
Portátil 2 con ip 192.168.1.7
2.-Todos los ordenadores deben tener la misma mascara de subred: 255.255.255.0
3.-Todos los ordenadores deben tener la misma puerta de enlace (gateway): IP del router (en este caso 192.168.1.1)
4.-Todos los ordenadores deben tener las mismas DNS:
DNS1 = IP del router (en este caso 192.168.1.1)
DNS2 = (la que te dé tu ISP o la que te quieras poner, por ejemplo la de google): 8.8.8.8
5.-El grupo de trabajo de todos los ordenadores es indiferente, se deben ver igualmente en la misma red, y además deben poder acceder a internet todos por igual.
No dejes que Windows te configure nada, por que normalmente suele fallar si tu router no usa dhcp, (vamos, a mi su "asistente" no ha dado nunca "pie con bola"), es mejor que lo hagas manual...