Es un fallo conocido de tu tarjeta de red en particular. En mi caso también me pasa, de forma bastante puntual (quizás una vez al día, y vuelve en unos segundos normalmente) tanto con carga como sin carga en el ordenador.
Lo que te comentan de desactivar EEE suele mejorar bastante la cosa. Si ya está desactivado… poco más se puede hacer.
Puedes forzar la velocidad a una más baja, pero solo con 100mbps (que puede ser incluso menos que lo que tienes contratado de internet) se arregla del todo.
La única solución real es poner otra tarjeta de red pcie. Yo tenía por ahí una x540-T2 de cuando intel hacía las cosas bien y mano de santo. Estamos en un mundo extraño en el que el equipo de red de realtek va mejor.
Saludos