Te iba a decir lo mismo que te ha dicho el compañero. Quizá tengas algo en corto.
La prueba que te sugiero hacer es la siguiente: apaga todos los conmutadores salvo el general, y luego ve subiendo uno a uno. Cada conmutador del cuadro controla la instalación eléctrica de una parte de la casa. Por ejemplo un conmutador debería dejar sin electricidad la cocina. Fíjate si teniendo un solo conmutador activado se sigue produciendo ese problema, porque podría ser que el fallo esté en esa parte de la instalación.
A revisar en particular: nevera, lavadora, vitrocerámica o similar, tostador, cualquier electrodoméstico que consuma mucho como por ejemplo un horno eléctrico.
Revisa todos los enchufes. ¿Tienes algún enchufe de la casa con demasiadas cosas conectadas? Por ejemplo ¿Tienes la zona donde está el TV principal, con demasiadas conexiones eléctricas a un mismo enchufe?
Y otra cosa, ojo con las regletas, las bases múltiples con interruptor, porque ahora que se han generalizado suelen ser de una calidad regular mala, si el interruptor de una de esas regletas fuera defectuoso podría venir de ahí el problema. ¿Has oído alguna vez "ruído" al enchufar una cosa, procedente de la regleta? Ojo con eso.
Revisa todo.
Salu2