Para un ordenador este no es necesariamente el orden de más probable a menos probable, pero yo suelo proceder como en electrónica: Desde la entrada de la alimentación, voy siguiendo "hacia el interior" todo lo que me es posible.
Primero probaría la fuente, que es muy fácil de hacer. Con todo desconectado, puedes puentear con un clip el cable verde (si no tienen colores, mira el pinout aquí:
https://www.smpspowersupply.com/connectors-pinouts.html ), y revisar que los voltajes principales (12V, 5V, y 3.3V), especialmente el primero, estén ahí y con el valor correcto +-5%
Luego ve probando con las mínimas cosas conectadas, empezando por lo que menos tiempo te cueste (como poniendo la gráfica en otro pc que comentan los compañeros).
Si no es nada de lo anterior, revisaría la placa en detalle en busca de quemazos. También puedes mirar con un polímetro que la resistencia (con todo apagado) de cualquiera de los pines que reciben 12V, tanto cerca del procesador como en el conector ATX, tengan resistencia alta (más de 1000 ohm) a masa.
Y a partir de ahí... ensayo y error. Probar con un solo slot de RAM, sin discos duros, etc.
Saludos