Desde el primer momento que usas un editor de vídeo y recomprimes, pierdes calidad.
Y YouTube, SIEMPRE, no casi, SIEMPRE, recomprime, así que se pierde calidad.
Dicho eso, haz la suma, de cuántas recompresiones y pérdidas de calidad hay.
Si quieres tener el máximo de calidad, no sé qué formato tienen las grabaciones de shadowplay, pero deberás subir este, si lo soporta YouTube, directamente. Claro, si no es muy grande y tu ancho de banda te lo permite. O tu paciencia.