Te respondo por partes.
De primeras hablas del hardware que vas a utilizar...es algo que ya tienes o una lista de la compra? Lo digo porque me parece que te has pasado cuatro pueblos: gráfica ni te hace falta (sirvo a varios equipos a la vez desde casa con un procesador"birria" y sin gráfica) y el TDP de ese procesador da algo de miedo.
Funcionar te va a funcionar pero vas a matar moscas a cañonazos.
Sobre sistemas operativos, el mayor "problema" es que estando en la sección de software libre las posibilidades son limitadas:
Truenas es el rey en mi opinión, pero es especialito de narices y ampliar eso es una tortura. Requiere poner a la vez todos los discos duros vacíos e instalarlo, además no te permite ampliar (pero sí cambiar un disco por otro igual si se rompe).
Cualquier distribución a pelo también te hace el apaño, yo mismo he tirado de Ubuntu Server durante años con los programas que yo mismo instalaba. Mucho más feo y más trabajoso, pero hace exactamente lo que pides.
OpenMediaVault es lo que se suele usar en software libre, muy completo pero en lo personal jamás he podido con él, ese interfaz me hace querer arrancarme los ojos.
Como "bonus" te doy una opción que ni es libre ni es gratis, pero que me parece la mejor. Completa tú mismo jajajja "U****d".
Sobre la seguridad, son todos iguales: NINGUNA. Eso es algo que tienes que poner tú mismo. Y ya entramos en lo de siempre: jamás vas a tener un sistema 100% seguro. Ni vas a encontrarte por tanto un tutorial que te blinde del todo. Pon todas las puertas que puedas y se cuidadoso, no hay más.