Bueno, en principio, necesitas una buena base de conocimiento e intuición: la informacion se transporta mediante buses y en principio, te interesa descubrir los de datos, direccion y otras señales de control.
Una vez que supones cual es la funcion de un determinado circuito, es posible que haya otro comercial que se le asemeje y que puedas usar para entender un poco como es posible que se comporte el circuito que quieres estudiar.
Pero claro, para estudiar el circuito, necesitaras algo que se encargue de capturar las señales hacia un ordenador, donde la podras estudiar mas facilmente.
Por ejemplo, puedes utilizar una placa
SPARTAN o algo similar, que incluya una logica programable que te permita no solo capturar datos y luego pasarlos al PC para su estudio, si no poder inyectar otros nuevos en las señales que intuyas que son entradas y asi poder estudiar el efecto que tienen (evidentemente, corres el riesgo de petar algo
)
En los modchips se suelen utilizar algunos trucos para reducir cables, como por ejemplo, detectar que tipo de informacion pasa por el bus de datos para parchearla al vuelo directamente, sin utilizar el bus de direcciones (para evitar tropecientos mil cables)
Por ejemplo, en PS2, los chips controlan cuando se accede a la BIOS y empiezan a checkear datos para ver si forman cadenas clave, ignorando un numero de bytes si es necesario y buscando una nueva coincidencia, para despues saltarse x bytes (si es necesario) e inyectar el código apropiado (ya sea de parcheo o de sustitucion de un programa al completo). Aparte de que tambien se tiene que ocupar del MECHACON, claro
Como puedes ver es un proceso complicado cuando no se conoce nada en absoluto del funcionamiento de una maquina y necesitaras prepararte tus propias herramientas (y a mi no me mires, que yo se como va el tema a grandes rasgos y no quiero saber nada mas del tema
)