Ya lo he podido arreglar, se ve que utilizando el rtmpdump para obtener el video no hay manera de poder cortarlo con ninguna de las dos herramientas, pero si hacemos el dump con el vlc despues se puede cortar con el avidemux tranquilamente, con el mp4box no da el error pero hace una cosa rara que es reproducir primero el video sin audio y despues el audio sin imagen.
Un saludo y gracias