Jenkins solo te da la capacidad de desplegar de manera desatendida. Lo más próximo que existe para eso se llama pyinstaller, que te genera un binario con dependencias, pero si no recuerdo mal no es portable entre Linux y Windows. Para compilar python en un .pyc te ocurrirá lo mismo. Así que si, docker puede ser una opción. Luego te quedaría el tema de automatizar todos los despliegues, ahí podría entrar Jenkins, chef, ansible, etc.
