Si estas configurando en el AC3Filter a que el stream de audio de salida sea PCM estereo [sin importar el bitrate],. no se porque te sorprenda que tengas a la salida audio en PCM. Ya comente que tienes que configurar el pass-through para audio DD/DTS en el AC3Filter o el filtro decodificador que tengas, asi solo decodificara [y tendras audio pcm a la salida] audio que este en otros formatos de audio [mp3, ogg, aac, etc.].
En la pagina de Kodi/XBMC hay guias y foros para la configuracion, que ademas por cierto seria ir a las opciones de audio y buscar el pass-through o bitstream o el raw [todos ellos son lo mismo.] y en generales debe venir lo de usar FILTROS EXTERNOS y aparecer una lista de filtros decodificadores audio/video instalados [ac3filter, lavfilters, ffdshow-tryouts, o el que tengas].