Lo primero que deberías de hacer es quitar el Wifi y usar cable.
Lo segundo es pasarle un antivirus y antiespias al PC, ya que hay a veces que los espias o virus te consumen ancho de banda.
Y nada más, cada uno tiene un Ping, yo mismo con 10 Mb de Telefonica tengo 40ms, pero también es cierto es que vivo a 70 metros de la central, que eso hace mucho.