yo te aconsejo que para empezar mires si acepta la configuracion de sonido en el amplificador de tus altavoces, primero asegurate de que los acepta, y luego en la salida de audio de la ps3 cuando configuras el cable optico ponle el mas adecuado en este caso DTS es la mejor salida pero no todo los amplificadores lo acepta, si quieres que salga en DOLBY activa sola esa casilla y tu amplificador lo configurara. si estas usando fibra optica mira bien si el cable no esta dañado ya que es un poco delicado ese cablecito y puede ser tambien ese problema.
algunos aparatos de sonidos tienen un test de salida incorporado en el amplificador para que todo este correcto, el mio por lo menos lo hace, hazlo y asi tambien compruebas que no es de tu ps3, tambien puedes usar una pelicula que sopòrte dts y dolby, por ejemplo "a todo gas" soporta esos 2 formatos de audios y asi haces una comprobacion
saludos