Pues no me queda muy claro tal y como lo explicas, pero posiblemente la señal que acepte el monitor sea RGB con sincronismo en verde. Puedes usar un cable VGA real (como el cable VGA del kit Linux de PS2) ya que éste sólo funciona con monitores con sincronismo en verde. Lo único que puedes poner una resolución de máximo 480p/576p (dependiendo si tu consola es NTSC o PAL). Si usas un convertidor de señal componentes a RGB entonces podrías poner resoluciones mayores, pero no sé si te compensa dado el tipo de monitor que es.
A todo esto, querer poner una PS3 conectada por antena es poco menos que un pecado. Es como tener un Ferrari para ir a 50 km/h. La señal por antena es la más guarra (y de lejos) que se puede tener. Aún así, si no tienes otra opción, ese modulador RF de PS2 te vale para PS3, sí.
Para el audio, la opción más normalita para salir del paso es que de la salida estéreo de la consola (cables RCA rojo y blanco) conectes un adaptador en "Y" de dos RCA's hembra a un minijack hembra de 3,5mm. En este minijack ya puedes conectar los frontales del home cinema. Sólo tienes estéreo, pero tampoco puedes sacar un 5.2 ya que tu equipo de sonido no es 5.1.