Tienes que meterte en las propiedades del MAME en general o en las de cada juego en particular y ahí, en OSD Video y Core Video configuras como quieres que se muestren los juegos: a pantalla completa, en ventana, llenando la pantalla respetando los ratios u ocupando toda la pantalla, etc... Y recuerda que Alt+Enter es tu combinación amiga para pasar de ventana a pantalla completa y viceversa.
salu2