De la distancia de los nodos/servidores y saturaciones de red básicamente. De la tecnología usada (ffth, coaxial), si hay cg-nat.... La configuración del router puede rascarte algún ms, más que la configuración la potencia del router (CPU y RAM)
En ningún caso depende de la velocidad contratada (ancho de banda). Ya tengas 100/300/600/1000 puedes tener la misma latencia.