No, lo mejor es que no intentes pasar ningún archivo.
Esto puede ser el motivo por el que te va lento. No hay nada importante en la SD que te haga necesario pasar archivos. Yo he cambiado tres veces de Switch y las tres veces, la consola me ha formateado la tarjeta.
Tan solo necesitas con la tarjeta virgen, formatearla desde la consola, entrar en la eShop y descargar lo que necesites. Ni partidas ni datos personales se almacenan en la SD, así que no es necesario mover nada de la antigua.