Necesito consejos, tengo un dilema amistoso-amoroso

Es una larga historia que se remonta a unos cuantos años atrás, así que trataré de resumirla lo máximo posible, sin obviar los detalles importantes.

Conocí a un chico cuando éramos adolescentes, nos hicimos mejores amigos, la amistad duró varios años hasta que cada uno se echó pareja y se perdió el contacto. Pasaron unos años más hasta que, por pura curiosidad (de verdad que no había ninguna otra intención), encontré a mi amigo por redes sociales y le escribí un mensaje preguntando cómo le iba todo.

A partir de aquí genial, volvimos a quedar y a retomar la amistad, al principio costó un poco por el tiempo que habíamos estado sin contacto pero con el paso de los meses fuimos encontrando más cosas en común y eso hizo que nos fuéramos uniendo otra vez. Al mes de volver a ser amigos, me invitó a quedarme a dormir en su casa, una cosa llevó a la otra y acabamos liados. Esta situación se dio en un par de ocasiones, en aquel momento ninguno de los dos sentía nada más que una amistad así que le dije de apartar el sexo de la amistad para no liar las cosas. Él estuvo de acuerdo y así hemos estado bastantes meses, quedando pero sin sacar el tema del sexo para nada.

Nada me ha hecho pensar en todo este tiempo que él quisiera algo más, pues para más inri me preguntó hace un par de meses que por qué no intentaba conocer a alguien (me quedé un poco WTF, nunca me había preguntado eso).
Esto fue allá por el mes de marzo. A partir de abril la cosa se empezó a poner rara. De la noche a la mañana me encuentro mensajes suyos a diario, en diferentes momentos del día, ya sea enviándome fotos, contándome lo que está haciendo o preguntándome por cosas mías. Me suelta comentarios en los que parece que tenga algún interés más allá de la amistad, como por ejemplo decirme "si viviéramos juntos"...

A mí, para qué mentir, me empieza a gustar porque no solo es su físico sino que también coincidimos en prácticamente todo de personalidad y forma de ver la vida, así que obviamente le sigo el rollo. La cosa llega hasta tal punto que me lleva a conocer a sus familiares cercanos (sin ser aún nada oficial), me invita a comer, me propone planes.

Yo ya tenía claras sospechas de que ese cambio de actitud no era porque sí, pero no le dije nada por asegurarme, hasta que hace un par de días se me empezó a insinuar sexualmente por whatsapp de forma descarada.
Ahí obviamente sí le dije que notaba mucha atracción entre nosotros y que a mí me gustaba, y que me dijera si quería sexo conmigo (acordándome de lo que tuvimos hace un año).

Bien, pues al decirme que sí, y yo preguntarle si sería solo en plan amigos con derecho sin ninguna intención más allá de la amistad, su respuesta fue: que no quiere una relación en este momento porque se le haría raro (imagino que por todo el tiempo que hemos sido amigos), pero que está abierto a que la cosa evolucione.

De momento hemos quedado un día de la semana que viene a ver qué tal. Sin embargo, todavía tengo la sombra de la duda. ¿Está tanteando? ¿Tal vez inseguro? ¿Me dejo llevar? Tengo esta duda sobretodo porque siempre he estado en relaciones largas y nunca he estado en este plan con ningún chico.