La conexión inalámbrica influye mucho, y en los routers cagarros que dan las ISP no es que sea una maravilla.
Recuerdo ver videos por wifi con parones pese a que el bitrate de éstos era muy inferior a los supuestos 54Mbps de la conexión, y con el router a pocos metros en la habitación contigua. Aunque te den una velocidad, la realidad es que luego funciona muy distinto, haciendo micro-análisis se verían muchos paquetes perdidos "en el aire" que hay que volver a transferir, lo cual lleva un buen retardo en el proceso completo, y micro-bajones en la tasa de transferencia que en las gráficas de más bien tipo promedio no se ven.
Probad por cable en los casos que se pueda, y si ahí va bien, ya sabéis dónde está el problema. Cuando se habilite el XCloud web que se podrá usar en el PC por cable se sabrá si es servicio o problema de red propio de uno mismo.