Supongo que lo haces mal. Te digo los pasos
Metes el ps3key en la consola, preferiblemente en el usb de la derecha.
Si es la normal apagas del boton trasero, si es slim desenchufas y vuevles a enchufar.
Enciendes y sin soltar el boton de ON le das al de eject.
En el apartado de juegos debe salirte los menus del ps3key, instaler y tal.
En un pendrive o hd externo metes en la carpeta raiz, el backup manager. que instalaras desde el menú previamente citado en el apartado de juegos.