Eso depende de muchas cosas.
En primer lugar deberiamos saber si el router se puede poner "en modo cliente" (no se llama asi, pero no recuerdo cual era el nombre concreto) es decir usar los dos puertos del segundo router como si fueran dos mas del normal, con muchos routers se puede hacer.
Tambien se podria si tuviese un puerto Uplink, pero me parece que no es el caso.
Aun asi prueba ha hacer lo siguiente, dale al segundo router (el que no tiene la linea de telefono) una IP que no sea la misma al primer router, pon las dns del primer router tambien en el segundo y de puerta de enlace del segundo router con la IP del primero.
CREO que deberia funcionar, pero nunca se sabe.
en una forma esquematica tendriamos.
Prmer Router: IP local 192.168.0.1 , los demas datos los de la adeeseele.
Segundo router: Ip local 192.168.0.2, dns los de la adsl y puerta de enlace 192.168.0.1
EQUIPOS: Ip dentro del ambito y puerta de enlace UNA de las dos de los router, no se si valdria cualquiera, seira cuestion de mirar.
Para comprobar si tienes conexion te recomiendo hacer PING a cada uno de los equipos conectados a cada router.
Espero que te funcione, ya nos contaras.