Ayuda sysadmins, necesito un scheduler de código abierto.

Os comento, tengo un sistema distribuido en 2 máquinas y con todos los componentes dockerizados.

Busco un scheduler que mediante interfaz web me permita configurar distintos pipelines que se ejecuten periodicamente y ver el estado de cada uno de los pasos, así como distintas rutas en caso de errores, etc.

Las tareas son resumidamente de 2 tipos:

- Transferir archivos entre máquinas, controlando que la transferencia se haya realizado correctamente y en caso contrario repetir o enviarme un correo notificando la avería.
- Clonar un repositorio de Git y relanzar un contenedor con docker-compose, en caso de no tener acceso al repositorio o fallar el reinicio reintentar o notificar por email.

Puede que más adelante se compliquen un poco, pero son tareas muy de encadenar procesos batch y no he visto que herramientas de IC como Jenkins me sirvan.

Gracias por adelantado.
Existen multitud de programadores, tal y como los defines, pero vas a tenerte que picar el código del flujo de trabajo; vamos que no va ser hacer 3 clicks y tenerlo todo listo, la lógica te las vas a tener que currar.

Mirate por ejemplo, Apache Airflow (desarrollado por Airbnb) o Luigi (Spotify).
Si estas usando máquinas virtuales en AWS, tienes la opción de Step Functions y hacerte el código en Python o NodeJS para unas funciones Lambda y en caso de error, mandar la notificación a un tópico donde pueden estar suscritos desde emails a API (para ver en un Grafana o algo así).

Espero que te sea de ayuda.
Un saludo
Airflow tiene pinta de ser bastante parecido a lo que busco, aunque las pipelines se programen en python, no es un problema.

Trastearé a ver que tal, gracias.
2 respuestas