Antes de, como tu dices, tirar una relación de 4 años por la borda, deberias preguntarte por qué cuando estás con él, sientes esa ansiedad. Si de verdad te la produce él o el ambiente donde os soleis mover y/o estar. Si se trata de una rutina de vida muy acentuada o si te sientes "maniatada" con la relación.
Realiza un ejercicio muy simple. Coge una bolígrafo y papel y anota todo lo que te ocurre cuando estais juntos, anótalo tal cual te acuerdes. Luego anota el "por qué" te ocurre lo que ocurre, no tengas en mente que sea culpa de tu pareja o tuya, simplemente anóta las cosas de la manera más fría posible, piensa lo mínimo cuando anotes o no lo harás bien y escribiran tus pensamientos egoistas.
Luego cuando hayas anotado todo, leelo, repásalo, razónalo y seguro ves cual es la decisión a tomar, si te das cuenta que el problema resulta un acondicionamiento enraizado en la pareja, háblalo con él y tomad medidas, porque aún estais a tiempo de volver a ser felices juntos. Si resulta que existe un problema y ese problema eres tú, busca ayuda coméntalo con tus más allegados y soluciónalo, aún estás a tiempo de tener una relación de felicidad. Si resulta que el problema lo arrastra él, coméntaselo, ayúdale a solucionar su situación, sigue existiendo esa luz al final del tunel. Si no se puede no queda otra, que por el bien de ambos os separeis, porque de todo lo malo se saca algo bueno, y sentirse feliz un@ mism@ es primordial, aunque se sufra un poquito al principio.
Espero te sirva mi aportación.