En todos los casos vas a introducir un pasivo que va a meter ruido, por lo que si puedes evitarlo, hazlo.
Como el engorro de andar conectando y desconectando sumado al riesgo de deterioro de conectores de moverlos muchas veces es superior a ese posible ruido que probablemente ni siquiera notes lo que tienes que buscar es uno que te permita elegir la señal de entrada a mano, bajo ningún concepto compres uno de esos baratos sin selector ya que pasarán señal entre los dispositivos. Te diría que midas señal en salida para ver si hace realmente una separación física total, ya que no todos los que llevan selector la hacen, pero eso ya es para rizar el rizo, en principio con uno con selector deberías tener el problema resuelto.