Llevar firefox y la configuración en un lápiz de memoria

Si lo que quieres es llevar firefox a todas partes en el pendrive, para eso está el Firefox Portable:

http://www.difundefirefox.com/firefox-portable

Y si lo que quieres es simplemente llevarte la configuración de firefox de un pc a otro, debes copiar la carpeta que hay en: "C:\Documents and Settings\[Usuario]\Datos de programa\Mozilla\Firefox\Profiles", y si tienes varios perfiles, aparecerán varias carpetas.