Un router un poco mejor (especialmente con mejor software) que el HGU te va a permitir establecer reglas de velocidad máxima por dispositivo que podrían solucionar el problema que tienes, en cualquier caso no me parece normal que tengas esa bajada de rendimiento si estás conectado por cable con todos los equipos. Me huele más a un tema de problemas por cantidad de paquetes que por ancho de banda como tal, si con 600mbps no llega para teenr una conexión de Parsec estable y un par de usuarios más... apaga y vámonos.
Ya que Parsec es de pago... yo me pondría en contacto con su soporte, y que te ofrezcan alguna solución. También puedes bajar la resolución y el nivel de calidad a ver si con eso se hace más usable (qué ajustes tienes, por cierto?)
Si es una opción, quizás también me plantearía otras aplicaciones de acceso de remoto que no necesiten tanto ancho de banda, salvo que por la naturaleza de lo que hagas con el PC necesites un nivel de calidad muy alto y latencia muy baja sí o sí.
Saludos