Para empezar, si actualizas el firm de tu M3, checa primero que lenguaje tiene, si no no vas a poder actualizar (lo digo porque habemos varios por ahí con firmware chino).
B18 - Chino (BIG5)
C18 - Chino (GB)
E18 - Inglés
J18 - Japonés
Además, después de actualizar el firmware, debes también descargar la ultima versión del game manager, ya que en ocasiones hay problemas de compatibilidad entre versiones nuevas de firmware y versiones anteriores del game manager, o viceversa.
Y ya para terminar, el New Super Mario lo debes dejar:
Trim-Rom, Normal, 4xDMA (sacado del wiki del m3)
Así lo tengo yo y funciona de maravilla, si quieres la lista de configuraciones de los juegos, entra
AQUÍ y después ve a la sección de compatibilidad de roms de NDS.
Saludos.
ACTUALIZO: de momento el wiki del M3 esta caído.