Una iso/cd de PSX nose puede montar, sencillamente porque no tiene un formato estándar, es igual que intentar montar un cd audio.
Para poder jugar en epsxe simplemente le tienes que decir en el menu "Run CDROM" o "Run ISO" y ya está, no tiene más complicaciones, yo lo hago así.
Yo me cree una ISO del cd del Resident Evil 2 y así no tengo que meter el cd cada vez.
Sobre lo del dispositivo loopback:
mount -o loop imagen.iso puntodemontaje
Por ejemplo:
mount -o loop gentoo-minimal-x86-2004.3.iso /mnt/loop
Tienes que ser root y tener en el kernel soporte de dispositivo loopback o tener cargado el módulo "loop" (creo que se llama así, llevo años metiéndolo en el kernel)