Copio y pego del propio ps3mediaserver para que te quede más claro:
El video se codifica y mezcla automaticamente como MPEG-PS con audio AC3 (muy compatible con PS3)
Puede jugar con los parametros vqscale, vqmin y keyint para obtener una buena calidad de transcodificacion, casi sin perdidas.
El inconveniente es que el bitrate de VBR puede a veces superar la capacidad de su red.
Por ello puede tambien modificar en ancho de banda si esta en WiFi, CPL, etc. Sin embargo, la calidad de transcodificacion
es un equilibrio entre velocidad de red y potencia de cpu: cuanta mas calidad quiera en un ancho de banda ajustado,
mas sufrira su cpu! Ademas, no pretenda encajar una pelicula de accion a 1080p con la mejor calidad en 15Mbps
Si aún así tienes dudas tienes mucha más información en la web oficial del programa. Y el formato ntfs lo lee por defecto, no hay que hacer nada, no sé que problema puedes tener con eso.