Monitoreas con afterburner?
Intenta fijarte cuando vienen esos bajones en como se comporta el hardware, si la gráfica baja su % de uso, si los núcleos del procesador que están trabajando a tope bajan de mhz, o incluso si algún nucleo alcanza mas del 90% de uso, etc...
En principio, poco cuello de botella debería haber, pero si tienes otros programas abiertos chupando de él, puede ser.
Te pasa también con juegos instalados en el SSD?
Hombre, la placa es sencillita, y siempre va tener muchas posibilidades de ser la causante, en éste y cualquier problema, por eso se suele se revisa todo lo demás y se deja la placa para lo último como descarte, que muchas veces pues termina siendo así, claro.