No tengo mucha idea de reproducción de video, pero eso pasa porque no se está reproduciendo por software, sino acelerada por hardware, y se utiliza un sistema parecido al chroma key. Usando la salida x11 de Mplayer no tendrás aceleración, y segúramente irá a saltos.
Vamos, que cualquier reproductor que use aceleración, no permite capturar la imágen del video (en windows tampoco ojo, que es el mismo sistema). Pero muchos reproductores, xine y kaffeine entre ellos, permiten la captura de sólo la película.