Lo que deberías es activar la aceleración por GPU, que en Windows será por DXVA. Siempre que tu gráfica tenga la habilidad de decodificar dicho codec y a la calidad/perfil que tenga el video y que VLC lo asimile.
Porque lo que tu dices de Direct3D11 no tiene nada que ver con la decodificación por hardware de codecs de video.
Como no dices que gráfica tienes es difícil saber si tiene la habilidad de decodificar por hardware el codec HEVC y hasta que punto.