Prueba con un bastoncillo impregnado en un poco de aceite de oliva.
Yo con eso quito los restos de adhesivos, celo, etc. Luego para quitar el resto de aceite, otro bastoncillo con un poco de agua.
A ver si te funciona, es lo menos abrasivo que se me ocurre.