No tiene nada que ver la potencia que aguante el altavoz. Lo importante es la resistencia (los Ohms). Puedes poner dos, cuatro, cinco, diez altavoces por cada canal. Lo único que tienes que tener en cuenta es la resistencia (los Ohms) que te queden en la línea. Así, de forma grosera tienes que saber que si pones los altavoces en paralelo (+ con + y - con -) la resistencia se divide. Así, si conectas dos altavoces de 8 Ohms en paralelo, la resistencia de ésa línea será de 4 Ohms.
Si los conectas en serie (+ con - ) la resistencia se suma. Si conectas dos altavoces de 8 Ohms, ésa línea tendrá 16 Ohms.
Lo que tienes que tratar es igualar o superar un poco hacia arriba la resistencia que necesita la etapa amplificadora. Por ejemplo, si la etapa requiere 8 Ohms, si llegas a 10/12 Ohms te aseguras que no rompes nada ni estresas nada aunque pierdes un poco de potencia. Tampoco mucho.
Si quieres tener un cálculo exacto, mírate y aplica la Ley de Ohms.