Sin duda es el decodificador del VLC que no esta funcionando adecuadamente, o bien, el VLC esta enviando la salida del stream de audio 5.1 a la salida digital [optica o coaxial o la HDMI] y no a la salida de audio analoga. Sera que rvises las configuraciones del VLC en cuanto a la salida de audio ya el decodificador de audio.
Yo la verdad usaria AC3Filter o FFDShow-TryOuts o FAVFilters como sistema decodificador de audio/video, asi podria usar cualquier reproductor multimedia [o presentador de diapositivas], y la ventaja que tienen es que muestran los canales decodificandose y los canales a la salida final, por ejemplo puedes tener 6 canales de audio reales, pero le indicas al decodificador que haga un downmix a estereo [mezclar lso 6 canales en una salida estereo y asi usar correctamente todos los sonidos de la pelicula o del concierto], como sea, prueba primero revisar la configuracion del -asco, asco,asco- VLC de como tiene configurada la salida de audio.
AC3Filter, audio entrada de 6 canales [reales] a una salida estero [downmix]

La misma captura mostrando salida sin modificar el # de canales de audio, 6 de entrada y 6 de salida.