La diferencia principal es la gestión de programas para instalar.
Algunos usan apt-get, otros urpmi, otros YaST, ebuild.... y cada sistema tiene sus pros y sus contras.
Aparte algunas distros son mas facilonas porq tienen soporte hasta para apagar el pc, en cambio otras como gentoo o slackware son mas dificiles porq se montan a pelo y hay q tener ciertos conocimientos.
Pero piensa q en el fondo todas son Linux y todas tienen la misma base.