Yo alguna vez intenté generar un UMD sin usar UMDGEN en Linux, pero no tuve éxito. Usé el descompresor por defecto para abrir la ISO y extraer los archivos, y el mkisofs para generar el fichero ISO, pero en la PSP no me rulaba. Supongo que porque la ISO hay que generarla en algún formato concreto que desconozco. El caso es que al final opté por usar UMDGEN en Wine y no complicarme la vida. Además el Wine no come mucha RAM, si no lo has probado aún, yo de ti lo intentaría primero, a lo mejor te va bien.
No obstante si alguien conoce alguna alternativa estaría genial, porque siempre es mejor evitar usar el Wine...