Me suena que tenías que volver a la ciudad y hablar con el gobernador para activar una nueva secuencia.
Pero si dices que ya te han dicho de ir al desierto, pues se llegaba desde uno de los muchos caminos del bosque, creo que no estaba lejos de la entrada al puerto que comentas. En la zona grande del bosque donde hay unas ruinas en el centro, hay un camino que va a la torre, otro al puerto, otro a la ciudad, y un 4º camino lleva al desierto.
La isla a la que llegas en el barco es el último escenario del juego, así que no tendrás que ir allí hasta dentro de un tiempo.