La mejor forma es:
PS3 == HDMI ==> TV + PS3 == Optico ==> Amplificador.
Después te vas al menú de PS3 y configuras la salida de audio por óptico.
Si tu ampli no tiene entrada óptica siempre te queda sacar HDMI a la TV para el vídeo y conectar el cable de 3 conectores RCA de la ps3 al ampli (con solo 2 de los 3 RCA, los correspondientes al audio estéreo) y después irte al menú de PS3 y marcar la opción de multisalida de sonido o como se diga, para que saque el sonido por todos los cables posibles...... Obviamente esto te dejaría en estéreo, sonaría por los 5+1 altavoces pero en estéreo, no 5.1 surround.
Otra opción sería HDMI a la TV y óptico de la tele al ampli, pero lo más probable es que así se te quede en estéreo y si el ampli tiene esa entrada óptica es mucho mejor cable óptico directo de la PS3 al ampli.