Para HTPC windows XP es una opcion muy viable. Windows 7 y Win8 nada van a aprovechar el GPU viejo que tienes, mientras en XP aun tienes oportunidad de exprimirlo un poco mas.
Como dicen, seguro es un problema de memoria. Usa MemTest o lleva tu modulo de memoria a que lo revisen en alguna tienda de computo especializada en memorias, ellos tendran el aparato para revisar la memoria. Tambien antes de hacer pruebas, saca el modulo de memoria y limpia bien tanto el modulo como el banco, quiza solo sea polvo o que este mal puesto.