MP4 o MKV no son más que contenedores para audio y video,.
La pregunta clave es donde vas a visualizar esos videos.
Si es en una television, debes averiguar que formatos soporta. Si es una tele relativamente moderna, no deberias tener problemas con el formato de video H.264 y audio en AAC o AC3. Olvidate de audio en DTS verlo directamente en la television.
Si quieres mantener el audio en 5.1 y el DVD-Video tiene AC3, lo más rapido y seguro es dejar la pista original AC3 sin recodificar
En formatos tipo H.264 y H.265 el concepto de bitrate no es tan critico como en los "viejos" DivX o XviD; Es más importante el parametro CRF (calidad constante) que especifica cuanta calidad quieres y el PRESET a usar (el SLOW da estupendos resultados, pero consume más tiempo de compresion que el MEDIUM o el FAST).
Luego esta el LEVEL que implica el modo de codificación, y dependiendo del dispositivo puede hacer compatible o no el video a ver:
Level - Caracteristicas
1 - 0,1 Mbit/s 176x144 @ 15fps
2 - 1,5 Mbit/s 352x288 @ 30fps
2.1 - 3,0 Mbit/s 640x360 @ 30fps
3 - 6,0 Mbit/s 960x540 @ 30fps
3.1 - 10,0 Mbit/s 1280x720 @ 33fps
4 - 12,0 Mbit/s 2048x1080 @ 30fps
4.1 - 20,0 Mbit/s 2048x1080 @ 60fps
5 - 25,0 Mbit/s 4096x2160 @ 30fps
5.1 - 40,0 Mbit/s 4096x2160 @ 60fps
5.2 - 60,0 Mbit/s 4096x2160 @ 120fps
6 - 60,0 Mbit/s 8192x4320 @ 30fps
6.1 - 120,0 Mbit/s 8192x4320 @ 60fps
6.2 - 240,0 Mbit/s 8192x4320 @ 120fps
Lo más tipico a usar el el LEVEL 4.1
En resumen.. lo más habitual por compatibilidad es usar video en H.264 level 4.1 con preset slow, profile film y crf de 23
El audio en AAC o AC3 en 2 o 5.1 dependiendo del tipo de pelicula.
De todos modos no estaria de más hacer pruebas con videos pequeños para comprobar si se reproducen en tu TV
En cuanto a Handbrake no te puedo contar mucho, ya que yo recomprimo los videos directamente con scripts de ffmpeg, pero la red hay muchas guias y consejos de uso del Handbrake.
Una encontrada de forma rápida es
http://www.mundofoto.org/smf/index.php?topic=5043.0