Si para lo que utilizas el PC no necesitas mas de 8 Gb , no vas a notar absolutamente nada, pero en cambio vas a perder el Dual channel que eso si te puede afectar en la velocidad del equipo.
Si hablamos de un APU o un Ryzen que son mas dependientes de la velocidad de la Ram la diferencia es mayor.
En resumen, si te falta RAM tendrás mucho peor rendimiento que si pierdes el Dual channel, pero muchísimo mas, haz la prueba si quieres quitando uno de los módulos que tienes e intentando jugar o editar.