Con un sistema de paquetes robusto como apt, nunca tendrás el problema de que al desinstalar algo se lleve dependencias que no deba. Si tienes dos paquetes instalados con dependencias comunes, al desinstalar uno de ellos desinstalará tan solo las dependencias propias, las que comparta con otros paquetes se quedarán ahí hasta que desinstales todos ellos.