hola,
lo primero es que la ps3 no puede reproducir mkv, pero si otros formatos
tienes varios programas que podrian hacer lo que quieres (aunque no se si podran con los avi, ya que estan pensado para mkv) mira el foro y pruebalos
multiavchd ( este te haria menus y demas)
tsmuxer
si no te soporta los avi, tendras que convertirlos primero a algun tipo de formato soportados por estos
Un saludo y a buscar por el foro compañero