Si se puede, y lo digo desde mi experiencia.
Tengo Swap Magic 3.6 (ojo, tiene que ser el 3.6), y un pendrive de Lexar Modelo Jumpdrive Sport de 128 MB.
SwapMagic 3.6 permite arrancar directamente hasta cuatro aplicaciónes desde el usb siempre que se encuentre en un el directorio SWAPMAGIC y renombrándolos a smboot0.elf, smboot1.elf, smboot2.elf y smboot3.elf. Para lanzar cada uno de ellos, una vez que te salga el menú de Swapmagic los lanzarás respectivamente presionando arriba y L1 (el smbbot0.elf), arriba y L2 (smboot1.elf), arriba y L3 (smboot2.elf) o arriba y L4 (smboot3.elf). También puedes hacer que arranque directamente una aplicación si la llamas swapmagic.elf (esto es de memoria, pero podéis mirar en la web oficial las instrucciones).
En mi caso yo tengo funcionando el KL 0.5.3, el KL 0.4, el PGEN y el CDloader beta 5.2 todos desde el pendrive.
No obstante, como dice suloku, el KL 0.5.3 necesita que el fichero KL.DAT se encuentre en la memory card (en BEDATA_SYSTEM), si no os dará un error de que no encuentra el fichero de configuración Kl.dat. Sin embargo, el KL 0.4 puede funcionar directamente en "modo USB" si en el pendrive creas una carpeta "KL", y en ella pones el KL.DAT que necesites.
Conclusión: "directamente" no se puede cargar ninguna aplicación desde el pendrive, pero con el SwapMagic 3.6 si.
Espero haberos sido de ayuda.
Un saludo