Exacto, para conectar los pcs a cualquier puerto del router necesitas un cable directo.
Te puedes asegurar viendo si tu cable viejo tiene en los dos conectores los cables en el mismo orden, entonces es directo.
O puedes usar el puerto uplink este que dicen por ahi, pro no todos los routers lo llevan, me parece que el 812 si.