Configurar una Lan, si es posible

Vamos a ver porque el tema del Wifi lo intente y tios no se conectaba como queria a veces si a veces no cuando le daba la gana asique me compre en la fnac el adapatador de red, 30 euros, el oficial.

El problema viene cuando del router me salen 2 conexiones rj45 a los dos pcs que tengo, me quedan otras dos, Una creo que va al portatil, cuando lo tengo delante, y otra la hemos mandando al salon jejejej para la Wii y la Xbox 360, el probelma es que tengo que estar desenganchando cada vez que quiera jugar a la otra.

Lo que me ronda era o comprarme un Switch, o usar el antiguo router que tenia de telefonica, un xavi amper si no recuerdo mal, podria usarlo para utilizar las consolas cuando las otras no esten encendidas claro, sin tener que estar desenganchando o es una soberana idiotez lo que toy intentando hacer, era por ahorrarme unos durillos.