Como bien ha dicho un compañero más arriba es problema del protocolo de seguridad. Tienes que googlear un poco y buscar un programita que se llama Fraps (te recomiendo la versión 3.4.7). Es importante que esté registrada pues si no lo está, sólo te grabará unos minutos.
La forma de usarlo es muy sencilla: Antes de arrancar el programa de avermedia, ejecuta este programa y lo dejas latente. Luego inicias el programa de avermedia y listo. Verás que en el cuadro de la imagen ya sí te saldrá la imagen de ps3. No pulses el botón grabar del programa de avermedia. Si te fijas en el programita Fraps, tienes que tener una tecla de acceso a grabación desde Fraps (creo recordar que era F11, pero puedes cambiarla a la que quieras. Yo tengo la barra espaciadora y cada vez que la pulso, empiezo o paro de grabar).
Un saludo.
También es importante que esté en 720p porque no soporta 1080 como también te han comentado. Por lo general la gran mayoría de juegos está en este formato así que no deberías tener mayor problema.
