Podías haber sacado la tarjeta con la consola encendida. Yo lo hice así y no hubo ningún problema. Mientras no llegase al menú Home y activase StreetPass no pasaba nada.
Lo único que puedes hacer ahora es probar a poner la tarjeta en la XL y a ver si hay suerte. Si sigues viendo todo como antes (juegos descargados, datos guardados, etc), no me preucuparía mucho por lo que haya hecho la otra consola.