Si tu sistema operativo es Windows, usa NTFS. Si tu sistema operativo es Linux, usa EXT4. Lo que sé de las particiones FAT, incluida ExtFAT, es que son incapaces de gestionar permisos y el modo de asignación de espacio es de poca fiabilidad, con gran facilidad para que sea corrompido por aplicaciones mal hechas, cortes de corriente o apagados forzados. De otro tipo de particiones no tengo opinión porque no las uso. En mi caso, desde hace casi tres años, uso discos de 2.5" de gran tamaño, con particiones EXT4 controladas por sistema operativo Linux, una vez cada seis meses reviso y defragmento pero siempre hay muy poco o nada que reparar y defragmentar.
¡Buena suerte!