Sin problema por la velocidad de internet, y si, se hace desde explorador accediendo a la ip del router que quieres modificar. Al router que quieres usar tambien debes ponerle una ip distinta, pero en el mismo rango que la del routter principal.
Si el principal es 192.168.1.1 al que usaras como switch le pones por ejemplo 192.168.1.50
Los pasos a seguir son:
Desconecta el cable de red del pc para que no tengas conexion con el router principal. O descativa/desconecta el wifi si asi lo tienes conectado.
Conecta por cable el router/switch al pc, accede al pagina de configuracion.
Cambia la ip, desactiva dhcp, desactiva firewall (si lo tiene).
Reset al router/switch para que aplique cambios, seguramente te lo pedira él mismo.
Ya lo puedes usar como switch, vuelve a conectar como quieras dejarlo todo.
No puedes hacer esto conectando los 2 router antes de cambiar ip, porque si tienen la misma, que es muy problable, tendras conflictos de ip, por eso desconectar el principal primero.