Eso es porque tira de soft y el bitrate de un BR es muy alto para eso, si tienes una nvidia usa VDPAU para que se reproduzca por hardware, aunque creo que el VLC todavía no lo lleva, puedes probar XBMC o mplayer.
Si tienes ATi HD creo que con los drivers oficiales también hay soporte por hardware, pero no te puedo decir mucho ya que yo uso nvidia.
Por cierto, vendría bien que pusieses qué distro utilizas.