Por si te sirve de algo te digo con toda seguridad que el problema no tiene NADA que ver con la revisión de PCIe. Para decodificar vídeo incluso con PCIe 3.0 te sobran más de la mitad de las líneas PCIe.
Yo apuntaría a lo que te dicen, quizás algún problema del software de reproducción que estás usando con esta gpu más nueva.
Revisa igualmente varias cosas
1) Que la frecuencia de refresco del monitor esté bien configurada. Si tienes gsync activado, desactívalo para probar.
2) Que no haya ningún ahorro de energía activo. Puedes ver a qué frecuencia está funcionando la gráfica y si está usando menos líneas pcie para ahorrar energía con GPU-Z. También quitaría todos los ahorros posibles en windows para descartar (de administración de energía pcie y demás, en el perfil de energía). Igual es más fácil que pongas el perfil de energía Alto Rendimiento y pruebes directamente.
Saludos