Si has trabajado tres días lo más probable es que estuvieses en periodo de prueba. Y durante el periodo de prueba cualquiera de las partes puede rescindir el contrato. No pueden negarse.
Pero míralo en el contrato, a ver si por lo que sea no vas a tener periodo de prueba (me extrañaría).