x264vfw no es un codec, es un encoder e VIDEO FOR WINDOWS que usa el encoder x264, el cual crea stream de video en formato h264.
¿En que contenedor de video [avi, mkv, mp4, etc.] da salida el dxtory?, si solo crea el stream puro de video tendras un archivo ***.h264 o ***.x264 o ***.264 y muchos programas no pueden usar este archivo porque esperan un contenedor de video no es stream de video y tendrias que multiplexar ese archivo ***.264 en un contenedor ***.MP4
Ahora, el contenedor AVI no es en nada buena opcion para tener stream de video de formato h264, porque al no haber una version reciente del contenedor AVI que soporte las nuevas tecnologias del h264 tendra problemas en algunos programas para cuando sea necesario leer el stream de video.
Asi que veo dos opciones:
* Pasar de AVI a MP4 con el YAMB, este no recodifica solo multiplexa, es decir, crea el archivo ocntenedor -en este caso un archivo MP4- y en el mete una copia del stream de video y de audio, despues lo importas o abres desde el vegas.
* guarda tu captura del escritorio que haces con el dxtory en formato de video DivX/XviD que si es muy compatible con el contenedor AVI y podras importar o abrir facilmente, ya despues podras recodificar a h264 con el x264VFW desde el vegas o usando el DEBUGMODE FRAMESERVER este no es un encoder en si pero hace algo interesante, este crea un archivo DUMMY AVI vacio, este archivo lo abres en un software de codificacion como mediacoder o megui o avidemux y desde este software es que codificaras al formato de audio y video que gustes y al contenedor [MKV, MP4, FLV, MOV, etc.], cuando en dicho software de codificacion -p.e. el mediacoder- pulses el boton para comenzar la codificacion el debugmode frame server le ira pidiendo el video al vegas para enviarselo a es esoftware, el debugmode mandara el video a la maxima calidad posible del audio y video.
Sony Vegas/Vegas Pro
1 Choose menu "File > Render As" to open the default render dialog (make sure your project uses 8/16 bit audio, they are the supported formats).
2 Enter a valid filename for the output file. This file is called the "signpost" file.
3 Choose "Debugmode FrameServer" as the output type.
4 Click "Save" to start FrameServing.
ejemplo de debugmode frameserver y vegas 10
http://www.youtube.com/watch?v=URB3tkGn4owhttp://www.debugmode.com/frameserver/