Yo tengo ambos y al final siempre me decanto por Raspberry Pi. Pero claro, yo tengo Smart TV y de por si ni la uso.
Raspberry Pi la uso para emuladores (lo prefiero mil veces antes que Android, es mucho más cómodo y todo en uno) y para Plex. Android TV solo la he usado un par de veces para MiTele y encima va como el culo y me toca verlo en el móvil o tablet (porque en la tele tampoco funciona bien xD).
Es depende del uso que le quieras dar. Yo uso mucho Plex en Raspberry porque se lo traga todo el mamonazo mientras que en One, tele, PS4 o Android tv no va siempre bien o no tira con algunas películas. Luego con la raspberry también tengo Recalbox, que es encender y listo. Nada de menúses raros, ni aplicaciones, ni demasiada configuración. Es como encender la consola de tu casa y jugar con los juegos que tiene. En android hasta la fecha creo que no hay nada mejor como Recalbox. Te tienes que bajar muchas apps, configurarlas, elegir la ruta de las roms etc... Creo que está RetroArch pero da mogollón de problemas. Al menos hasta donde yo leí.
Pero si quieres todo en uno, sí, lo mejor es una Android TV, aunque te recomiendo que no seas muy rata y pilles una buena. La que tengo yo (que en realidad es de mi padre) es una famosa que todo el mundo compraba y es súper lenta, no tiran muy bien algunas apps etc...