He mirado los foros del VLC media player y ya encontre el error, lo pongo por si a alguien mas le pasa:
Habia que actualizar los drivers de la tarjeta grafica a la ultima version (creia que tenia la ultima porque instale el Vista hace 2 semanas y se me descargaron los drivers del windows update pero he mirado y tenia una version nueva) ademas despues en opciones avanzadas en video hay que marcar la opcion en modulos de salida-> DirectX "Usar conversiones hardware YUV-RGB", y en modulos de salida poner como modulo Salida de vídeo Direct X.