Yo utilizo Nero Recode. Suelo utilizar el modo "AVC de Nero Digital" (MPEG4 AVC) y el perfil "Standard - AVC" (para resoluciones DVD, alrededor de 720x576).
En las herramientas de codificación le desconecto las opciones de desbloqueo y el CABAC (más que nada porque así también los reproduce el XboxMediaCenter, si los activas la Xbox no puede con ellos)
El audio hay que codificarlo como AAC-LC stereo, con un bitrate máximo de 160kbps (yo uso 128kbps). El modo AAC-HE no funciona en la PS3.
Se pueden incluir subtitulos, aunque la PS3 no los muestre (al menos ahora).