Para eso usa lame. Bajale el bitrate, ya q para voz basta con 32Ks y para música basta 96 ks, cuando lo normal esq esté a 128 o 256. Esto ya rebaja mucho el tamaño.
Luego puedes probar a resamplear, aunq no siempre se consigue un audio bueno.
Y para acabar, si no te importa q sea mono hazlo. EN total seria así:
lame -b 32 -a archivo
Para resamplear:
lame -b 32 -a --resample 11.025 archivo.
La opción "-a" es mejor q la " -m m" ya q la -m te elimina un canal a boleo, mientras q -a mezcla ambos en uno solo.