Hace mucho que no trasteo con el SwapMagic, pero en lo que pueda te respondo.
1. Creo que no debería haber inconvenientes con la versión, el único requisito es que el SwapMagic debe corresponder a la región de la PS3 (EU, JP o US).
2. Si bien el loader es inestable por naturaleza (incluso "in-game"), esto podría denotar un error en la lectura, por un problema del disco, de la lectora, o ambos.
3. Deberías probar con la mayor cantidad de versiones posibles, en mi experiencia algunos juegos funcionan con determinada versión y algunos con otra. Si mal no recuerdo, es posible incluir hasta 4 versiones del loader a la vez para probar. Pero vas a tener que buscar por otra vía las releases compiladas de las versiones intermedias, que no las publican en el sitio oficial.
4. SwapMagic es en verdad una aplicación para cargar juegos en PS2, por lo que corre en PS3 directamente en modo hardware, y esto limita la velocidad del bus USB a la versión 1.1 (que es la que tenían las PS2). Por esto el problema con los videos, e incluso con algunos juegos que requieren una carga más rápida. No existe una solución para esto, aunque quizás como sugerís es posible recodificar los videos para una reproducción más fluida.