Bufffff... creo que no te voy a ser de mucha ayuda porque hace mucho que no utilizo Fluxbox...
Lo de aterm... ¿tienes las locales bien puestas? Juraría que no tenía problemas con la 'ñ', pero dejé de usar aterm hace tiempo. ¿Por qué no utilizar urxvt?
Sobre lo de la fuente... casi seguro que se podrá. Sólo necesitarás tener la fuentes en alguno de los directorios de fuentes y referenciarla en el apartado correcto dentro del theme.cfg
Para saber qué apartado se correspondería al de la fuetne del título de la ventana, consulta la doc de fluxbox en su página.
Siento no poder ser más explícito... pero mi memoria es de pez.
¡Saludos!