Podra ser algo de contacto? recuerda que ese integrado disipa bastante calor, tal vez se safo alguna "patita"
La gomita es MUY recomendable que la dejes ya que ayuda a disipar el calor del integrado.
Yo me fijaria tambien del otro lado del PCB tal vez esta haciendo falso contacto con algo cuando "presionas" con la gomita al cerrar el lector.
Saludos