Es poco más o menos indiferente. Depende de tu caja y tus preferencias personales.
Sí que es verdad que hay un par de pequeñas razones, una a favor de cada opción.
A favor de ponerla en vertical que, especialmente para graficas pesadas con disipadores enormes, el pcb sufre menos. Estar mucho tiempo soportando su peso y encima con temperaturas altas puede romper la GPU en los peores casos, si las soldaduras o los pads se deterioran por lo que se dobla la placa. Este problema se puede mitigar con un soporte en el punto más lejano, pero igualmente está ahí.
A favor de ponerla en horizontal sin inventos, que los alargadores son una fuente muy habitual de problemas, cuelgues e inestabilidad, especialmente los que trabajan a la velocidad más alta disponible (PCIe 4.0, la serie 5000 soporta PCIe 5.0 y ya verás qué risa y qué precios tendrán los prolongadores).
La refrigeración puede ser un pelo mejor en horizontal, pero depende de la caja no tiene por qué ser el caso.
Saludos