Más que un programa concreto, yo te recomiendo que tengas Windows 64 bits y el programa de edición de vídeo tenga también versión para 64 bits. Gestionan la ram mucho mejor y puedes hacer más cosas con menos recursos.
Yo utilizo Adobe Premiere, aunque no creo que sea lo que buscas. Igual Pinnacle Studio o Sony Vegas se te acoplan más, aunque no los he usado nunca y no podría decirte cómo manejan los recursos.