*********************** UPDATE**********************
Se me paso hacer estas preguntas desde el inicio:
¿Tenias antes otra tarjeta de video?, si era asi entonces ¿desinstalaste los controladores de la vieja tarjeta de video antes de poner la nueva tarjeta de video?
Si no lo hiciste aun es momento, desinstala el controlador usando DDU desde el modo a prueba de errores de windows, reinicia windows e instala los controladores de la nueva tarjeta de video geforce, de preferencia los mas recientes.
DDU:
http://moddingmx.com/foro/index.php?/to ... installer/*********************** UPDATE END **********************
Lo de menos es el CONTENEDOR DE VIDEO [mkv, mp4, avi, flv, mpg, ogm, etc.], parece mas un problema de configuracion y en especial con el formato de video mpeg-4 avc [h264] que es decodificado por el GPU en base a DXVA2 [decodificacion acelerada por hardware de video de directx]
En las opciones de VIDEO [reproduccion] es donde debes ver de deshabilitar la interpolacion, tambien puedes ver el ajuste de nitidez [bordes] y en COLOR [usar configuracion de color de la aplicacion], yo hace años que no uso tarjetas de nvidia, pero busca en tu panel de control de la geforce cosas como esta:
![Imagen](https://s11.postimg.org/6cydkbg6r/image.png)
![Imagen](https://s11.postimg.org/o4elcikz7/image.png)
Tambien recomendaria actualizar el controlador de video y si sigue igual desactivar el soporte DXVA en el reproductor de video, con lo que la decodificacion se realizara por el CPU y la tarjeta de video se dedicara solo a mostrar el video decodificado por el CPU.
Y recomendaria mas usar MPC-HC o Pot-Player sobre el -asco, asco,asco- bsplayer o vlc y alternativamente el dmitrirender o el madVR para el tema de la interpolacion, si es que quieres usar la interpolacion.
hilo_dmitrirender-reproduccion-de-video-con-mas-suavidad_2027594.