Para servidores que vayan a trabajar con RAID se suele recomendar XFS. Si los ficheros que vas a tener son muy pesados ( +30GB ) XFS.
Para un usuario doméstico, habitualmente Ext4.
De XFS he leído que algunos usuarios han tenido problemas cuando el equipo se ha apagado de manera indebida o cortes de energía [no sé si utilizarás un SAI/UPS] han sufrido alguna corrupción etc, por compatibilidad se suele tirar a Ext4.
Personalmente, he utilizado con más frecuencia Ext4 a XFS.