Aunque básicamente no uso Edge para nada a mí no me hace lo que indicas. Mira por su configuración a ver si pueda estar por ahí.
Aunque lo más normal es usar Abrir con y aquí elegir el programa que quieras usar como predeterminado, pero normalmente tienes que marcar una casilla para que te la predetermine, si vas a lo rápido y sin fijarte pues el comportamiento es el que indicas, te lo abre una vez y cuando vas a abrir la siguiente vuelve al predeterminado que en este caso será Edge.