Formatos de video libre de patentes hay dos: Theora y Dirac. El segundo acaba de alcanzar su version 1.0 y parece que aun le falta un software de compresion decente. Del primero tienes varios programas para ripear dvds, como Thoggen y permite usarse desde ratios bajos hasta Alta Definicion.
Como ya te han dicho pasar de un formato con perdida a otro con perdida no es buena idea. Lo mejor es codificar en OGG de la fuente original (un CD audio el caso mas habitual).