Yo estuve en la misma situación que tú, y la verdad es un SI con matices, me explico:
Primero, fue muy difícil encontrarle sitio a la series x, es mucho más grande que la one x y es un factor a tener en cuenta, finalmente di con un orden que me permitió tener casi todas mis consolas instaladas, pero en camino tuve que sacrificar una dreamcast que aún no sé dónde poner.
Por otro lado, perdí la opción de jugar online ciertos juegos con mi pareja, que tiene la one (eso pasa en algunos juegos por lo que he visto).
Por último, parece poco importante, pero se pierde la entrada HDMI que yo utilizaba para mi receptor de tv satelital, y ahora se me hace mucho más incomodo. Antes era prender la xbox y a jugar o ver tv a tiro de un botón, cosa que ahora no es posible.
De todas formas seguiré con la series x, tengo la convicción que más temprano que tarde la diferencia de potencia será cada vez más notoria en los juegos, y el quickresume es una delicia, ahora puedo aprovechar tiempos muertos para jugar 10 minutos, cosa que antes era imposible.
La series X es mucho más ágil, rápida, y eficaz en casi todo que la one x.
Grandes diferencias gráficas aún no noto, pero es que con la one x se llegaban a resultados impresionantes para ser de la generación anterior...