Aparte de la velocidad, corres el riesgo de acabar sin SO, porque las memorias flash tienen un tiempo de vida muy inferior a los discos de estado sólido. Sobre todo en cuanto al número de escrituras por celda soportadas.
En cualquier caso, yo he tenido mi servidor (Ubuntu, instalación personalizada) durante años en una SD. En este caso, las escrituras en el storage han sido mínimas y por eso creo que ha durado tanto.
En cualquier caso, encontrar algo que soportara el arranque de SD fue un engorro, muy caro y pedido a china, si no recuerdo mal. Compré un adaptador Mini PCIe x1 a SD, uno especial que permitía mostrar el dispositivo como arrancable en la BIOS. Y la placa, era una Intel con Atom de muy bajo consumo, no recuerdo el modelo.
Si vas a instalar un SO que no suponga escrituras masivas a la SD (Ubuntu Server "tuneado") yo experimentaría intentando arrancar de SD, etc. Si vas a instalar Ubuntu de escritorio, o Windows, yo directamente te diría que buscaras otra alternativa.
Saludos.