El antialiasing es simplemente un suavizado para los bordes de los objetos en un mundo 3D.
Los objetos creados en un mundo 3D están creados por triangulos, los cuales forman cuadrados. Cuando el objeto resultante forma un plano oblicuo es cuando aparece el efecto "aliasing", causado por los vertices de esos triangulos que forman los famosos "dientes de sierra".
El antialiasing es una técnica que se encarga de suavizar o difuminar esos bordes para que el contorno del objeto parezca lo mas liso posible.
Una imagen vale mas de mil palabras
Si las líneas de la imagen anterior formasen un plano completamente horizontal no se manifestaría el efecto aliasing.
Hay varios tipos de antialiasing que son mas o menos efectivos y se comen mas o menos recursos. El mas extendido es el MSAA y el que mejor rendimiento da por recursos que se come es el TXAA que solo es compatible con las gráficas nvidia serie 6 y 7.
La teselación (no texelacion) no se muy bien en que consiste pero permite mostrar mas detalle con los mismos polígonos. En este vídeo se ve claramente la diferencia:
http://www.youtube.com/watch?v=Q2jb3YDOvOg Salta al minuto 1:38 y compara el dragón, los tejados, las piedras del suelo y de las paredes ect. La diferencia es muy notable. Ponlo en hd. A también mira el fraps como le chupa fotogramas