De manera nativa la N64 usa vídeo compuesto y s-video. El adaptador de antena lleva el modulador incorporado porque per se la N64 no emite en esa señal y debes evitarla a toda costa, es la peor de todas.
Las N64 NTSC y unas PAL de Francia llevan circuitería para RGB en su placa base pero sin activar. Con una modificación es posible activarla y que emita RGB usando, si no recuerdo ma, el cable RGB de SNES. Luego hay otro mod que consiste en añadir el RGB con un PCB pequeño que vale para cualquier N64 y que te permite elegir si usar el cable de SNES o el de GC.
También hay un mod para que la consola saque HDMI.
Si puedes deberías usar al menos el s-video, pero claro debes asegurarte de que tu pantalla lo soporta.