La atari y cualquier aparato que use un cable de antena emite una señal de inagen en una frecuencia exacta que luego hay que sintonizar, con que lo conectes a un adaptador que mencionas (que no he visto ninguno en mi vida) no significa que al conectarlo al AV se vea directamente.
Hay dos formas y mas baratas de conectarla por AV
La primera y la mas sencilla es pillarte cualquier vídeo grabador ya sea VHS o beta que traiga conectores de antena y también de AV o scart para conectarlo a la tele. Y desde el propio vídeo sintonizar la señal de la consola, que normalmente es en el C03/C04 en el caso que tu VHS sea de los mas nuevos. Esto implicaría que el vídeo tendría que venir con su mando a distancia como es evidente, en el caso de los vídeos mas modernos.
La segunda seria hacerle una modificación para sacar AV, que dependiendo del modelo de atari, puede ser mas fácil o un poco mas difícil hacerlo. Modificada por AV sacas una señal de imagen realmente buena, aunque la señal de antena de las Atari siempre me ha parecido muy buena por lo general.