1º- el cable rojo, blanco y amarillo no es RGB, sino el cable COMPUESTO, RGB significa Red, Green, Blue, que como ves no son los colores que comentas.
2º- Si tienes configurada la PS3 con la salida de video en HDMI a la TV que yo sepa no la puedes tener, además, conectada con el cable compuesto a otro dispositivo a la vez que usas el HDMI.
3º- Supongo que lo que debes hacer es conectar tu PS3 al DVD grabador por Cable componentes, Compuesto (el que antes comentaste) o RGB (que es el de la clavija grande de 21 pins). Una vez la PS3 conectada al DVD grabador tendrías que conectar la salida de este DVD grabador a la TV, para estar viendo lo que vas a grabar y ahí ya, cuando tu quieras y con las configuraciones oportunas de los menús de tu DVD grabador pues empezar a grabar la imagen de tu PS3.