El hecho de que tengas ambos conectados al router y tener ambos en internet ya significa que están en red. Si acaso te puede venir bien saber la IP de cada PC, o incluso dejarlas fijas. (al menos el que vaya a hacer de server, normalmente el PC que tenga mas prestaciones) Después en los juegos puede que necesites únicamente la IP del PC que haga de servidor o que se detecte de forma automática.
Y normalmente si hay algún problema puede ser por tener algún firewall activado. (que cierre los puertos de comunicación que use el juego en LAN)
