No es una cuestión de potencia, sino de memoria de trabajo.
La neo geo puede transferir a su vram todos los sprites que quiera sacar a pantalla a través de su line buffer, pero supuestamente su cpu no puede acceder a la vram para tocar nada de lo que hay ahí (snes y megadrive tampoco pueden).
Necesitas transferir esos sprites a una memoria a la que la cpu tenga acceso para poder modificar esa información. Para un raycaster te basas en los parámetros de un engine para determinar cual es el punto de vista desde el que se va a calcular la perspectiva de todos los elementos del escenario, y en base a esto tienes que inclinar tantos sprites de esta forma, mantener la perpendicularidad de tantos otros y simplemente escalarlos, desplazarlos de esta u otra forma, etc… y una vez hecho todo esto los sprites resultantes se vuelven a enviar a la vram, y se genera el frame (línea a línea).
Para un juego basado en polígonos el proceso es el mismo.
El resto de consolas de 8 y 16 bits trabajarían con tiles de un plano en lugar de con sprites, no por nada, sino porque es menos restrictivo, y además no te cargas el valor añadido de poder usarlo para otras cosas de forma independiente (por ejemplo el panel de control del wolfenstein 3D, o el doom).
¿Y neo geo podría mover entornos 3D con un 68000 a 12mhz?. Si, tiene la potencia necesaria para hacer cositas, pero no tiene mesa de trabajo. Esta máquina trabaja de pie