Bueno, a mi me pasaba exactamente lo mismo, el puto modem no se callaba. La unica diferencia es que el mio era externo y me empezo a pasar despues de una mala instalacion de win 98.
Cuando reinstale el sistema opertivo el modem conectaba y se callaba.
Lo que yo te propongo es que desinstales el modem en el Administrador de dispositivos y cuando windows vuelva a arrancar lo vuelves a instalar.
Si esto no soluciona el problema y necesitas internet, como ultima opcion probaria a cambiar el modem de puerto pci e instalarlo de nuevo.
Espero haberte ayudado.