El anti-aliasing es un efecto que se aplica los renderizados en 3D para que los bordes de los modelos se vean sin dientes de sierra. La GameBoy no tiene ni tan siquiera capacidad para generar nada en 3D, así que dudo yo que vayas a encontrar algo así. En todo caso podrás encontrarte algún emulador con filtros, que lo que hacen es suavizar la imagen cuando la reescalas; pero ten en cuenta que añadir un filtro es todo lo contrario que obtener nitidez. Si no te valen los que ya te han puesto, puedes probar con el VisualBoyAdvance o el NO$GBA.
Ahora si lo que buscas es algún efecto de aumento de calidad como hace Dolphin, eso sólo es aplicable a modelados 3D. En estos sistemas olvídate.
