El voltage que entra en esos pines de carga no va directo a la batería. Va a parar a un IC que se encarga de controlar la carga de batería suministrando el corriente/voltage necesario en los diferentes ciclos de carga. De hecho las baterías de litio se suelen cargar a un voltage de entre 4.2-4.3v máximo, no a 4.6v. Este tipo de ICs que comento tienen un cierto margen en el voltage de entrada, normalmente hasta los 6v, esa pequeña diferencia de voltage se disipa en forma de calor (si es ldo).
Y si te carga lento por usb seguramente será porque no le proporcionas suficiente corriente. Si lo conectas a un puerto USB de pc lo máximo que te va a sacar es 100mA. Si usas un cargador de móvil fíjate en el amperaje que proporciona. Como referencia, el cargador oficial de 3DS da 900mA.