Editas el archivo conf, el que se crea por default esta en AppData\Local\DOSBox\ se llama dosbox.conf sino mal recuerdo. Lo pones en la misma carpeta que el ejecutable de dosbox y este toma prioridad sobre el de appdata.
Con su respectiva edicion a la parte de autoexec no necesitas mas para que se arranque el juego al cargar dosbox, solo editas el uso de midi, joystick, puertos etc... y los filtros graficos a usar.
Puedes tener una sola version de dosbox (aunque no creo que sea lo que deseas) y teniendo los archivos de configuracion conf agregas el parametro -conf para decirle al programa que use un archivo de configuracion especifico e.g.:
C:\Program Files\DOSBox-0.72\dosbox.exe -conf "C:\CARPETA DEL JUEGO\juego45.conf"
o
dosbox.exe -conf "C:\Program Files\DOSBox-0.72\juego19.conf"
o
dosbox.exe -conf juego2.conf
o donde tengas tu archivo de configuracion y como sea que lo quieras llamar las comillas " " son para evitar problemas con espacios en los nombres de archivo (por si no lo sabias).
Si creas un archivo bat por cada juego solo ocupas una instalacion de dosbox, que puedes copiar junto con la carpeta del juego
CarpetaDoxBox
+---Juegos
+------AOTD
+------TOMB
+------Agent
+------KQVI
Espero haber sido claro