Seria mas sencillo; aunque le inviertes mas dinero, un switch HDMI, alguno 2x1, dos entradas a una salida, asi conectas a las entradas del switch hdmi tus consolas, y la salida del switch a una de las entradas HDMI del televisor y asi tienes una netrada libre del televisor para otro aparato. O igual, un switch HDMI de 3 o mas entradas a una salida, y asi siempre tener una entrada HDMI libre del televisor.
Como sea, ¿a que resolucion y Hz puedes configurar el chromecast? En el manual del televisor debe venir si esos puesrtos USB soportan la entrada de audio/video y a que resoluciones y frecuencias.
Prueba a usar el chromecast directamente al televisor y ver sino es un error de configuracion que tengas en el chromecast, si aun asi aun no aparece imagen/audio entonces es algo que tienes que solucionar sobre el chromecast, si por el contrario si da imagen/audio entonces si sera cosa del adaptador que estas usando que o no es compatible con las resoluciones y frecuencias del puertos de entrada USB del televisor o no lo estas alimentando correctamente [¿tiene bateria integrada, o usa alimentacion externa o usa la alimentacion del puerto USB?]