Estas enamorado de verdad? Estas seguro que no es solo el calentón o encoñamiento? Pues adelante y pasa del que dirán.
No voy a dar mucho detalle porque no me interesa explicar mi vida privada en el foro, pero yo tuve una relación de 7 años, aunque en este caso siendo una relación homosexual, con bastante más diferencia de edad que la tuya.
Por cosas de la vida se acabó, pero no me arrepiento de nada ni por un segundo.
Así que lo dicho, haz lo que tú quieras y no lo que te digan que tienes que hacer. Aunque obviamente siempre es bueno tener en cuenta y valorar otras opiniones. Pero al final es tu vida y la decisión es tuya.