No me queda claro:
Con "servidor plex en una casa con el que comparto bastantes películas y series con familiares", ¿te refieres a que compartes por internet o que compartes en la misma LAN?
Si es por internet, sera que a esa hora muchas personas de tu calle y cercanias estan conectados y subiendo/bajndo mucho, con lo que se hace mucho trafico en la linea de la calle. Si es que estan compartiendo en la misma LAN, pues sera que a esa hora alguiien esta conectado y haciendo mucho trafico interno, con lo que el modem/router se ve sobrepasado.