Depende mucho de con que software se haya hecho el portable y de como lo hayan configurado.
Si el portable esta realizado con el programa cameyo, olvidate, pues siempre genera la estructura de fcheros en la carpeta de perfil del usuario (por tanto no es un portable "de verdad").
Yo, de hecho, cualquier portable realizado con ese programa lo borro directamente,
Los que si suelen funcionar dejando todo en la carpeta del programa portable son las aplicaciones virtualizadas con VMware Thinapp.