Hay casos en los que, debido a un fallo del router, alguien podría conectarse desde el exterior sabiendo tu IP pública. La cuestión es que sería una vulnerabilidad en el router, más que alguien hubiese conseguido tu IP, y que además tuviese conocimientos de seguridad, por lo que es muy muy raro.