Se puede a diferentes líneas de teléfono. Yo en mi red tengo 2 routers con 2 conexiones a internet, si falla una me conecto a la otra.
Si lo que tienes es una sola línea y una sola red local (LAN) no tiene sentido dos routers, tendría que ser un router y un switch, o un router y un punto de acceso, pero no dos routers. Según lo que quieras conseguir exactamente. Si el problema es de alcance del wifi, tendrás que comprar un punto de acceso y configurarlo en modo cliente, y luego un switch (que te permita conectar varios aparatos a ese punto de acceso).