Buenas compañero, falta información del home cinema pero te explico a ver si te aclaro algo.
Entiendo que lo que tienes es un "todo en uno" o sea, no tienes un receptor a/v para gestionar el sonido digamos y luego un reproductor.
Aún así, tienes que mirar el manual de instrucciones y ver que "entradas" de audio tiene tu sistema. Por sencillo que sea, casi seguro que tendrá alguna entrada análogica (esa no te sirve) y dos digitales que soporten el sonido 5.1 como mínimo (estas son las que necesitas). Un tipo de entrada es la coaxial, esa con la ps3 no sirve, debes tener otra que venga especificada como "óptica" (una especie de hueco cuadrado pequeñito).
Es tan sencillo como comprar un cable óptico (supongo que unos 25 euros), encajar un lado en la salida "optica" de la ps3 y el otro lado en la entrada optica de tu home cinema. Luego te vas a la configuracion de tu ps3 y en audio pones que el sonido lo sacarás asi.
En tu home cinema tendrás un boton para seleccionar que fuente quieres trabajar en ese momento (aunque a veces esto ya es autómático), cuando juegues enciende tu home cinema y selecciona la optica y ya esta.