[HILO] SUPER UPSCALERS por IA I El DLSS del futuro I Hiperrealismo en videojuegos

HILOS RECOMENDADOS
🔲INTELIGENCIA ARTIFICIAL Y VIDEOJUEGOS
🔲NVIDIA RTX REMIX: REMASTERIZACIÓN DE ACTIVOS DE JUEGOS ANTIGUOS I REMASTERIZACIÓN
🔲NVIDIA RTX HDR I HDR EN CUALQUIER VIDEOJUEGO

SUPER UPSCALERS POR IA ( EL DLSS DEL FUTURO )
EL HIPERREALISMO EN VIDEOJUEGOS
Imagen

Abro este hilo porque me parece de relevancia para el futuro ir siguiendo el tema.

La cuestión es que el realismo en los videojuegos ya existe desde hace tiempo, hay pruebas de concepto reales, incluso hablamos de renderizados en tiempo real como los de deepface live, el problema es que se necesita casi todo el poder de cómputo de la GPU para procesar esos gráficos y para lograr una tasa de fps relativamente decentes es necesaria una 3090 para arriba.
Imagen

Los superscalers son modelos generativos de IA que lo que hacen es reimaginar el frame pixel por pixel, esto nos ofrece la oportunidad de poder dibujar imágenes hiperrealistas en videojuegos basados en modelos entrenados con imágenes realistas. Estos también pueden hacer uso de otros datos, como los que ofrece un juego, donde hay geometría, sombras, iluminación, entonces pueden ser mucho más precisos.

Actualmente los supescalers no pueden generar imágenes en tiempo real, por lo que habrá que esperar unos 2-5 años a que salgan modelos cada vez más livianos a la par que la tecnología avanza y salen tarjetas gráficas más potentes capaces de mover esos modelos.

De momento tenemos algunos ejemplos de lo que será el futuro de este tipo de renderizado por IA:

En este ejemplo de gran turismo para PSX 1 podemos ver como el juego pasa visualmente a un juego fotorrealista que no es posible en la actualidad.

GRAN TURISMO 1 PSX1
Imagen
GRAN TURISMO 1 PSX1 pasado por filtro AI que reconstruye la imagen
Imagen

En estas otras capturas podemos ver a Grand Theft Auto 6 con gráficos hiperrealistas sin casi variar la estética del juego ni los elementos de este, respetando el frame original, y eso que este proceso por el momento se hace a través de un fotograma del tráiler, no es un sistema ni un modelo que tiene en cuenta geometría del entorno ni nada más como si tiene DLSS.

GRAND THEFT AUTO 6 ORIGINAL
Imagen
GRAND THEFT AUTO 6 RENDERIZADO POR IA
Imagen

GRAND THEFT AUTO 6 ORIGINAL
Imagen
GRAND THEFT AUTO 6 RENDERIZADO POR IA
Imagen

GRAND THEFT AUTO 6 ORIGINAL
Imagen
GRAND THEFT AUTO 6 RENDERIZADO POR IA
Imagen


TOMB RAIDER PSX
Imagen

THE LAST OF US 1
Imagen

Los primeros en gozar de esto seremos nosotros, los jugadores de PC, aunque al principio posiblemente se va a necesitar de GPUs muy potentes y es posible que solo podamos aplicar ese filtro en un juego por streaming, veremos como va la cosa.


Puede que esta tecnología venga de la mano de nvidia o de una compañía de terceros asociada a nvidia o incluso ni eso.

Aquí tenemos un ejemplo de INTEL con una IA que fue entrenada con fotos de Cityscapes Dataset, un data set de capturas de carreteras en Alemania, por eso el cielo se siente más apagado.



Aquí tenemos otro ejemplo, este si es renderizado en tiempo real con deepface live, que es un swap de rostros para crear deepfakes en tiempo real
Uala, que pasada, ¿no?

Esto a mi me parece super interesante más de cara a juegos antiguos que modernos.

Silent Hill, Sega Touring Car, etc

La imágen de Gran Turismo es [flipa]

Aunque para juegos no realistas, ¿se podría hacer tambien conservando el estilo orginal?

Curiosidad máxima por como quedaría un Mario 64.
@7Force la ia tiene parámetros donde puedes pedirle que sea más o menos creativa a la hora de reimaginar el frame


Yo creo que con juegos muy antiguos será mucho más problema, no dudo que se pueda, pero se necesitarán parámetros muy exagerados y en algunos no funcionará tan bien, piensa que tiene que reimaginar una cara y quedarse con esa cara para que sea igual otras veces, cada semilla puede reimaginarla un poco distinta, no es lo mismo que darle una base muy fiel y casi real y aplicarle el filtro solo un poco.
Imagen
Imagen
Imagen

También supongo que si esto viniera de nvidia los propios devs de los juegos podrían quizás controlar los parámetros de la IA para darle más realismo por ejemplo cuando es un primer plano de alguien y esas cosas, darle menos exageración cuando es un plano muy alejado donde puede reimaginar cosas muy locas.
Yo también lo veo muy interesante para juego más antiguos, coincido con que la imagen de GT1 es brutal!!!
También me ha sorprendido lo realista de la imagen de Ellie en su forma original respecto a la IA
Impresionante. Hará falta un pc puntero. Ahorrando para la serie tope de gama de Nvidia GTX6000 series.( Las gtx 5000 ya irán justas sólo con path tracing).
Wishful thinking.

Veo muy optimista una previsión de 2 años vista, cuando hoy por hoy ni siquiera se aprovecha bien el ray tracing y las compilaciones de juegos se siguen pensando en las consolas, como para pensar en que una compañía, léase Take-Two te vaya a sacar el GTA VI en pc con esa tecnología y hecho a la perfección "porque somos buena gente y queremos que todos los peceros disfruten de sus maquinotes".

Y a más años vista, me parece elucubrar por elucubrar, podría pasar cualquier cosa el tema de las ias está muy en el aire aún. Hacer un superescalado de fotos hoy por hoy no es difícil, ahora ponte a renderizar toda una peli ya no digamos un videojuego donde tienes que tener en cuenta las decisiones del jugador. Lo veo bastante utópico.

Para que 4 frikis se junten a hacer un remake chusco del San Andreas, pues oye, lo veo guay. Pero que una empresa se gaste dinerales en entrenar a la ia y en aplicar esa tecnología a un juego en desarrollo...eso no lo veo tan a corto ni a medio plazo.
Veremos como va evolucionando la idea. Por ahora como concepto está interesante. Habrá que seguir de cerca ésta tecnología.
Yo no me espero 'mejoras via IA' en un juego generado en marcha, incluso de manera nativa, en todavía bastantes años. 5-10 y estoy siendo tremendamente optimista. Y mejoras mínimas ojo.

Antes de eso igual algún juego indie que consuma pocos recursos nos de la sorpresa, pero no aguantaría mucho la respiración, y desde luego no para ofrecer 'graficazos', sino que la imagen que se busque generar sea tirando a poco más que low poly.

Y no digamos ya emuladores que puedan mejorar sobre la marcha lo que ya se tiene, y a un framerrate que no te haga arrancarte los ojos. Van a tener que pasar bastantes años. Por lo menos los entusiastas siempre podrán tirar de mods con lo que vaya saliendo, pero echándole mucha paciencia y ganas, algo que el jugador medio no tiene ni en broma.

Uno de los problemas en juegos que le verán las que mas beneficiarian económicamente de esto, las grandes empresas, es que en consolas con lo que hay ahora no pueden hacer prácticamente nada. Va a ser interesante si la siguiente generación de consolas cuida este tema, y colateralmente en PC le acaban dedicando los recursos que merece.

... lo que sin duda a AMD les debe de estar poniendo la piel de gallina, porque van MUY por detrás de NVIDIA y su CUDA. Como quince años por detrás... solo por eso, seguramente las siguientes generaciones de ps/xbox se pasarán de amd a nvidia, al menos si deciden apostar algo por estas cosas y amd no consigue ponerse algo al dia.
@Ekir el DLSS es una mejora vía IA

@Ashenbach bueno, 2-5 años para que se asiente en parte, por lo menos en gamas altas. Los primeros conceptos podrían venir por ejemplo de streaming, por ejemplo, aplicas el filtro a un juego jugado en cloud ya que solo procesas el vídeo y no el juego completo, por lo que la GPU tiene más recursos, o usar dual GPU, sería para los más entusiastas.

Si te soy sincero veo esto antes de 2 años.

No vendrá por parte de Rockstar, venderá o por parte de una compañía de terceros o de NVIDIA, INTEL, etc... y cada vez saldrán más modelos y habrá más oferta.

Lo suyo sería usarlo como un DLSS, jugar a 1080p o 720p y escalar a 2K-4K.

No lo veo aún para juegos retro, a excepción de alguno muy básico como carreras de coches, pienso que los rostros son más complicados y generar una alucinación o algo muy exagerado, digo algo bien hecho, pero deformando completamente el original, y mantener ese aspecto, no creo que sea sencillo, pero en un juego moderno donde solo tienes que aplicar el filtro levemente si.


Esto, por ejemplo, no lo veo tan viable a corto plazo:

MGS1
Imagen
Imagen

STALKER
Imagen
Ya que supone reimaginar demasiado el frame, y no es porque cueste más, es porque dará resultado a más aberraciones.

También tienes que pensar que ese solid snake no mueve los ojos, no es lo mismo tener como referencia una animación de ojos como la que puede tener un GTAVI como la de este juego de PSX, por ejemplo, por eso digo que estas alucinaciones con juegos retro tan hiperrealistas no las veo a corto plazo para nada, y a largo tampoco, por eso he dicho que en un juego de coches si podría funcionar mejor porque es más básico.

Un juego moderno ofrece mucha más información a la IA que uno retro, por lo que la alucinación no tiene que ser tan pronunciada.

A corto plazo veo algo más así en un juego retro
Imagen
Y si te fijas la IA ya está generando algunas aberraciones en el monstruo que no son fieles al frame original.
Yo lo veo poco viable y poco realista en dos años, una cosa es renderizar una imagen y otra muy distinta es renderizar un videojuego en tiempo real con todo el gasto de recursos y el cálculo que supone, sin contar el tiempo que va a tomar entrenar a una IA para que pueda transformar una imagen en movimiento y en tiempo real sin fallos ni glitches visuales

10 años me parece un periodo más realista, más aún pensar que esto se va a poder aplicar como un reshade cualquiera en apenas 24 meses, si aplicar path tracing vía modding ya es tremendamente demandante, meter esto ya ni te cuento

No obstante, tiene buena pinta, el fotorealismo por fin se podría convertir en una realidad, pero vamos, que para esto falta años todavía, con un poco de suerte cuando lleguemos a la serie 7000 ya es una realidad
Interesantísimo tema, muchas gracias por el curro del post. En una década veremos cosas que no somos capaces ni de imaginar, aunque el trailer de GTA VI es una buena muestra de las cosas que nos esperan en el futuro ( si alguien se puede gastar millonadas en desarrollo de nuevas tecnologías para videojuegos, esa es Rockstar ).

Algún programa que recomiendes para hacer pruebas caseras ?
Para poder ver eso en tiempo real como poco faltan 20 años
@Kujusca ahora mismo está deepfece live, que permite generar rostros realistas mediante face swap en tiempo real, y luego tienes magnific AI, es una IA de pago creada por un murciano, seguro que hay más cosas por ahí

De hecho los face swappers también van a jugar un papel crucial en esto:

Imagen
Imagen
Imagen
Imagen
Imagen
Imagen
katatsumuri escribió:@Ekir el DLSS es una mejora vía IA

@Ashenbach bueno, 2-5 años para que se asiente en parte, por lo menos en gamas altas. Los primeros conceptos podrían venir por ejemplo de streaming, por ejemplo, aplicas el filtro a un juego jugado en cloud ya que solo procesas el vídeo y no el juego completo, por lo que la GPU tiene más recursos, o usar dual GPU, sería para los más entusiastas.

Si te soy sincero veo esto antes de 2 años.

No vendrá por parte de Rockstar, venderá o por parte de una compañía de terceros o de NVIDIA, INTEL, etc... y cada vez saldrán más modelos y habrá más oferta.

Lo suyo sería usarlo como un DLSS, jugar a 1080p o 720p y escalar a 2K-4K.

No lo veo aún para juegos retro, a excepción de alguno muy básico como carreras de coches, pienso que los rostros son más complicados y generar una alucinación o algo muy exagerado, digo algo bien hecho, pero deformando completamente el original, y mantener ese aspecto, no creo que sea sencillo, pero en un juego moderno donde solo tienes que aplicar el filtro levemente si.


Esto, por ejemplo, no lo veo tan viable a corto plazo:

MGS1
Imagen
Imagen

STALKER
Imagen
Ya que supone reimaginar demasiado el frame, y no es porque cueste más, es porque dará resultado a más aberraciones.

También tienes que pensar que ese solid snake no mueve los ojos, no es lo mismo tener como referencia una animación de ojos como la que puede tener un GTAVI como la de este juego de PSX, por ejemplo, por eso digo que estas alucinaciones con juegos retro tan hiperrealistas no las veo a corto plazo para nada, y a largo tampoco, por eso he dicho que en un juego de coches si podría funcionar mejor porque es más básico.

Un juego moderno ofrece mucha más información a la IA que uno retro, por lo que la alucinación no tiene que ser tan pronunciada.

A corto plazo veo algo más así en un juego retro
Imagen
Y si te fijas la IA ya está generando algunas aberraciones en el monstruo que no son fieles al frame original.



Yo el tema de las aberraciones lo veo poco problemático, y mas teniendo en cuenta la mentalidad empresauria. Los ingenieros y desarrolladores diran: Mira, queda bonico pero genera muchos errores de diseño y algunas cosas sin sentido. Entonces llegará el inversor y dira: Esa mierda de defecto? si hasta parece mas chulo y no se nota nada, además nos ahorramos muchas pelas en diseñadores... palante chicos! Como si los viera venir [+risas]
@polipeta yo creo que antes aparecerán IAs que clonen juegos y sus motores a motores más actuales y les cambien los assets directamente, esto está chulo como prueba de concepto en imagen para juegos viejos o en juegos con bastante detalle para tiempo real.




PD: Ya hay IA's que clonan juegos.
Qué barbaridad!

Joder si saliera ese FF VIII mejorado con IA sería un fap constante [tadoramo] [tadoramo]

Me encanta este hilo @katatsumuri [beer]
Aún está lejos de ser perfecto pero ya es mucho

Imagen
Creo que puede estar cerca, pero ha de ser una IA entrenada exclusivamente para un juego en concreto.

Por ejemplo mediante etiquetas o id,s que lw digan a la IA qué personaje están recordando, para tener continuidad y menos problemas de glitches.

Personajes, objetos, entornos, enemigos... Entrenar a la IA para que sepa identificar todo lo que va a mostrar el juego de principio a fin.
Aún parece que no hay nada en tiempo real pero runaway gen-3 vídeo to vídeo es prometedor.


FRAME UPSCALEADO
Imagen
FRAME ORIGINAL
Imagen


FRAME UPSCALEADO
Imagen
FRAME ORIGINAL
Imagen
katatsumuri escribió:Aún parece que no hay nada en tiempo real pero runaway gen-3 vídeo to vídeo es prometedor.


FRAME UPSCALEADO
Imagen
FRAME ORIGINAL
Imagen


FRAME UPSCALEADO
Imagen
FRAME ORIGINAL
Imagen

Olvídate del tiempo real mientras juegas. El procesado que necesita eso no lo aguantan ni lo aguantarán nuestros pcs en 10 años. Y veremos para ese entonces.

Esto es un game changer para los desarrolladores que podrán tener modelos 3D realistas de personajes y entornos; y también para aplicar como filtros. Pero eso de hacer replacement en tiempo real de todas las imagenes mientras juegas es demasiado.
@-spyker- es que ya está ocurriendo, no es tiempo real pero lo va a ser, lo que mejoraría la historia es que sea como un DLSS donde tiene referencias como la geometría y la iluminación, no solo un frame.

No dejan de ser filtros, esto ya existe en tiempo real, no es algo imposible:




El problema de hacerlo con el juego es que consume muchos más recursos y lleva mucho más trabajo, es mejor que lo alucine una IA a tenerlo que renderizar realmente.


Esto será progresivo, no aparecerá de golpe en 10 años o 5, esto va ir teniendo presencia poco a poco como lo ha tenido el RT.







Al principio supongo que solo lo podrá hacer gente con doble GPU o mediante streaming, juegas por xcloud por ejemplo y procesas los gráficos a través del vídeo, lo mismo nvidia se saca una IA chula capaz de hacerlo sin consumir muchos recursos como ocurre con DLSS.


Incluso al principio puede ser un negocio, el procesamiento se hace desde una empresa con servidores que recoge la imagen del juego y te la devuelve, streaming.
Kroxy escribió:Para poder ver eso en tiempo real como poco faltan 20 años



Y siendo optimistas
Cuando esto deje de ser humo me avisan, estaré atento :^
d2akl escribió:
Kroxy escribió:Para poder ver eso en tiempo real como poco faltan 20 años

Y siendo optimistas


Acabo de revisar lo que dijo el creador del hilo XDDDD (a la peña se le va la olla, son muy inocentes)

Actualmente los supescalers no pueden generar imágenes en tiempo real, por lo que habrá que esperar unos 2-5 años a que salgan modelos cada vez más livianos a la par que la tecnología avanza y salen tarjetas gráficas más potentes capaces de mover esos modelos
Kroxy escribió:
d2akl escribió:
Kroxy escribió:Para poder ver eso en tiempo real como poco faltan 20 años

Y siendo optimistas


Acabo de revisar lo que dijo el creador del hilo XDDDD (a la peña se le va la olla, son muy inocentes)

Actualmente los supescalers no pueden generar imágenes en tiempo real, por lo que habrá que esperar unos 2-5 años a que salgan modelos cada vez más livianos a la par que la tecnología avanza y salen tarjetas gráficas más potentes capaces de mover esos modelos

El hilo es de 2023, aún quedan cuatro años, por lo menos dale la oportunidad a dos series más de nvidia y luego si eso haces el comentario, la que saldrá ahora y la siguiente.


Deepface live va a 30 fps con una 3090, deepfacelive es esto pero enfocado solo al swap de rostros, rope igual, y van en tiempo real, yo lo movía con mi 3070ti.

Inocente es creer que la IA no avanza a pasos de gigante, solo tienes que ver los modelos generativos de vídeo de hace un año o dos con los de ahora.

Ojo, que yo no digo que para la serie 6000 vaya a ser perfecto, pero ya habrá más software y herramientas y las GPUs de gama alta serán mucho más potentes.


Cuando usábamos gigapixel hace cuatro años o cinco nadie imaginaba que nvidia sacaría este año una función de upscalear cualquier fuente de vídeo o imagen que se reproduzca en el PC, o incluso aplicar HDR a cualquier fuente de vídeo e imagen al vuelo.

Si hacer un swap de rostro con una GTX 970 me lleva un segundo,
Imagen
Pues que quieres que te diga, no veo descabellado un sucedáneo de gen-3 en tiempo real a 30 fps 720-1080p en una 5090 o en una 6090, se ve a leguas que no es perfecto del todo, con sus artefactos, pero ya sería mucho.

Primero lo veremos con gente con doble GPU como ya he dicho muchas veces, o gente jugando por streaming, o en juegos retro o que consuman muy pocos recursos, el avance será progresivo, no pasaremos de un día para otro a ejecutar esto con todo tipo de juegos en local, eso es algo que no entendéis, os pensáis que esto aparecerá de golpe en 20 años y el progreso tecnológico no funciona así, el progreso tecnológico es progresivo, a medida que sale hardware nuevo aparecen nuevas técnicas y hay muchos más recursos para ejecutar el software.

Y con el tema de los artefactos es igual, al principio habrá artefactos y no será perfecto, como los hay ahora, con el tiempo aparecerán nuevas técnicas, por ejemplo, en vez de aplicarlo al frame, lo que he dicho, se tomará como referencia la propia geometría del juego y la iluminación y todo, como ocurre con DLSS actualmente, las primeras versiones de DLSS no eran así, el tener datos sobre la geometría permitirá al modelo ser más preciso al aplicar el filtro generativo.

Y como dijo @paco_man los juegos vendrán con ID's y archivos específicos para la IA, el rostro de X personaje se asociará con X prompts, o la zona de x juego se asociará con x prompts asociados a x modelo, aunque creo que eso ya será más adelante, igual que lo de la geometría, lo primero es superar el paso de generar el vídeo en tiempo real, por lo menos 30fps 720p-1080p, aunque sea con artefactos, luego ya vendrá el resto de forma progresiva y se irá depurando.

Otro problema de las IAs es que muchas al ser privadas los dueños no comparten sus descubrimientos y los monetizan con créditos, por lo que al no poderse ejecutar en local no se pueden crear herramientas de este tipo, ni siquiera sabemos que hardware requiere magnific a bajas resoluciones y bajo detalle, ni gen 3, porque al ser privadas no lo dicen.

De hecho la herramienta de magnific si mal no recuerdo está basada en stable diffusion.













https://x.com/jon_barron/status/1835710460420902937
https://x.com/jon_barron/status/1835714069413962133



No sé si os dais cuenta pero esto son tristes filtros, 20 años son muchos años, en 20 años la industria ya será o empezará a ser procedural, lo que se muestra aquí ya estará asentado, en PC seguro, para ese entonces ya habrá juegos procedurales, y con juegos procedurales no me refiero a mazmorras procedurales hardcoded, me refiero a experiencias de juego de mundo abierto o lineales donde todo es procedural, todo se generará al vuelo, gráficos, narrativa, música, personajes, diseño de niveles, etc...


En 20 años la industria no será como ahora, la industria será muy diferente a lo que tenemos hoy en día, la gente hará sus juegos desde casa, gente sin conocimientos de programación o de programas 3D, motores gráficos, etc... de hecho pasará con el cine y con la música antes, con la música ya ocurre, los procesos de creación se abaratarán una barbaridad y las IAs serán alimentadas con los pasos de esos procesos hasta el punto que ellas serán capaces de manejarlos aprendiendo de nosotros, por lo que terminarán generando esos juegos por si mismas, tú simplemente les pedirás que quieres jugar.

Ya hay gente creando cortos de cine con IA actualmente, voz, vídeo, música, narrativa, en 5 años ya será muy fácil hacer cine con IA.

Solo tenéis que hacer una mirada a los años 90s, mediados, y ver como ha cambiado el mundo de las telecomunicaciones hasta 2015, la IA va a seguir un camino parecido en 20 años.


Recuerdo que hasta hace un año teníamos solo imágenes, ya tenemos vídeos, ahora solo falta que ese vídeo se pueda generar en tiempo real a por o menos 30 fps por segundo, y ya hemos visto que hay modelos generativos en tiempo real, y algunos más pesados generan imágenes en un segundo ¿Cuánto falta para generar 30 fps con modelos livianos? Yo no lo veo imposible en un plazo de dos generaciones de tarjetas gráficas, obviamente, y repito, lo he dicho miles de veces, no con un juego tocho ejecutándose de fondo en el ordenador, ya he detallado como aparecerá progresivamente, lo que algunos no se han leído el hilo o se han leído lo que les ha dado la gana.
katatsumuri escribió:Pues que quieres que te diga, no veo descabellado un sucedáneo de gen-3 en tiempo real a 30 fps 720-1080p en una 5090 o en una 6090, se ve a leguas que no es perfecto del todo, con sus artefactos, pero ya sería mucho.

Primero lo veremos con gente con doble GPU como ya he dicho muchas veces, o gente jugando por streaming, o en juegos retro o que consuman muy pocos recursos, el avance será progresivo, no pasaremos de un día para otro a ejecutar esto con todo tipo de juegos en local, eso es algo que no entendéis, os pensáis que esto aparecerá de golpe en 20 años y el progreso tecnológico no funciona así, el progreso tecnológico es progresivo, a medida que sale hardware nuevo aparecen nuevas técnicas y hay muchos más recursos para ejecutar el software.

Y con el tema de los artefactos es igual, al principio habrá artefactos y no será perfecto, como los hay ahora, con el tiempo aparecerán nuevas técnicas, por ejemplo, en vez de aplicarlo al frame, lo que he dicho, se tomará como referencia la propia geometría del juego y la iluminación y todo, como ocurre con DLSS actualmente, las primeras versiones de DLSS no eran así, el tener datos sobre la geometría permitirá al modelo ser más preciso al aplicar el filtro generativo.

Y como dijo @paco_man los juegos vendrán con ID's y archivos específicos para la IA, el rostro de X personaje se asociará con X prompts, o la zona de x juego se asociará con x prompts asociados a x modelo, aunque creo que eso ya será más adelante, igual que lo de la geometría, lo primero es superar el paso de generar el vídeo en tiempo real, por lo menos 30fps 720p-1080p, aunque sea con artefactos, luego ya vendrá el resto de forma progresiva y se irá depurando.

Otro problema de las IAs es que muchas al ser privadas los dueños no comparten sus descubrimientos y los monetizan con créditos, por lo que al no poderse ejecutar en local no se pueden crear herramientas de este tipo, ni siquiera sabemos que hardware requiere magnific a bajas resoluciones y bajo detalle, ni gen 3, porque al ser privadas no lo dicen.

De hecho la herramienta de magnific si mal no recuerdo está basada en stable diffusion.













https://x.com/jon_barron/status/1835710460420902937
https://x.com/jon_barron/status/1835714069413962133
https://x.com/__JAAF__/status/1835711117990985762


No sé si os dais cuenta pero esto son tristes filtros, 20 años son muchos años, en 20 años la industria ya será o empezará a ser procedural, lo que se muestra aquí ya estará asentado, en PC seguro, para ese entonces ya habrá juegos procedurales, y con juegos procedurales no me refiero a mazmorras procedurales hardcoded, me refiero a experiencias de juego de mundo abierto o lineales donde todo es procedural, todo se generará al vuelo, gráficos, narrativa, música, personajes, diseño de niveles, etc...


En 20 años la industria no será como ahora, la industria será muy diferente a lo que tenemos hoy en día, la gente hará sus juegos desde casa, gente sin conocimientos de programación o de programas 3D, motores gráficos, etc... de hecho pasará con el cine y con la música antes, con la música ya ocurre, los procesos de creación se abaratarán una barbaridad y las IAs serán alimentadas con los pasos de esos procesos hasta el punto que ellas serán capaces de manejarlos aprendiendo de nosotros, por lo que terminarán generando esos juegos por si mismas, tú simplemente les pedirás que quieres jugar.

Ya hay gente creando cortos de cine con IA actualmente, voz, vídeo, música, narrativa, en 5 años ya será muy fácil hacer cine con IA.

Solo tenéis que hacer una mirada a los años 90s, mediados, y ver como ha cambiado el mundo de las telecomunicaciones hasta 2015, la IA va a seguir un camino parecido en 20 años.


Recuerdo que hasta hace un año teníamos solo imágenes, ya tenemos vídeos, ahora solo falta que ese vídeo se pueda generar en tiempo real a por o menos 30 fps por segundo, y ya hemos visto que hay modelos generativos en tiempo real, y algunos más pesados generan imágenes en un segundo ¿Cuánto falta para generar 30 fps con modelos livianos? Yo no lo veo imposible en un plazo de dos generaciones de tarjetas gráficas, obviamente, y repito, lo he dicho miles de veces, no con un juego tocho ejecutándose de fondo en el ordenador, ya he detallado como aparecerá progresivamente, lo que algunos no se han leído el hilo o se han leído lo que les ha dado la gana.

Es increíble todo esto, la industria de los videojuegos de aquí a pocos años va a ser completamente distinta a como es actualmente.

Y no solo se van a beneficiar los videojuegos, también el mundo del cine. Hoy día hay muchas transferencias de celuloide a 4k con muchas carencias (lentes desenfocadas, imagen de baja calidad, exceso de ruido en escenas con poca luz), pero con la IA el paso de un clásico a digital podría llegar a ser perfecto.
@paco_man sin duda va a revolucionar el cine indie y también el streaming en directo

Dejo este vídeo de shenmue 1 con gráficos ultrarealistas, se nota que hay artefactos y los seguirá habiendo, aunque mantiene bastante la estética.
katatsumuri escribió:@paco_man sin duda va a revolucionar el cine indie y también el streaming en directo

Es una burrada ese vídeo. Y no ha hecho más que empezar.

Cuando esté madura esta tecnología hasta los juegos de la PSX se van a ver similares a los actuales.
Lo de las IA generativas es humo al 50% siendo generosos. Mucho hype y promesas para atraer inversores.
No os dejéis arrastrar. Algo saldrá, pero no será tan increíble y tardará mucho. Mucho.
NicOtE escribió:Lo de las IA generativas es humo al 50% siendo generosos. Mucho hype y promesas para atraer inversores.
No os dejéis arrastrar. Algo saldrá, pero no será tan increíble y tardará mucho. Mucho.

Humo no es porque ya estamos viendo cosas alucinantes ahora mismo, gráficos que son impensables, otra cosa es que sea el principio, hace un año solo teníamos imágenes, ahora ya tenemos vídeos, lo siguiente pues sería ya en tiempo real, otra cosa es que haya gente que quiera todo ya y no le interese ver al bebé nacer y gatear, que lo prefieran adolescente o adulto, pues yo no puedo hacer nada, la realidad es que la tecnología actualmente solo permite procesar un vídeo con un tiempo previo.

¿Qué tardará en asentarse completamente? Pues si, será progresivo como ya he dicho, los primeros modelos serán pesados, solo los podrá mover gente con GPUs de gama top o se ofrecerán como servicio al cliente por streaming ya que ellos si tendrán el hardware para costear el servicio.

Pacoman ya lo dijo, todo por IDs y modelos entrenados en función del juego con referencias generadas solo para el juego, vas por x sitio del juego y todo son ID's, personaje x id, vehículo x id, geometría concretada y otros aspectos gráficos para hacer más precisa la generación, obviamente esto si que ocurrirá en 10 años, igual más tarde o más pronto, lo de las ID's en los juegos, lo primordial ahora mismo es poder generar vídeo en tiempo real, eso es el objetivo principal ahora mismo, aunque sea un modelo cutre y a baja resolución y de ahí se va escalando como ha ocurrido con el RT.

Lo que ves en el vídeo de shenmue es simplemente un modelo generativo que genera encima de una imagen plana y un modelo generalista, ese modelo no está entrenado solo con imágenes de asiáticos, por poner un ejemplo, porque si lo estuviera no saldrían personajes con tonalidades de piel más del sur de asia o áfrica, si gent 3 fuese open source se podrían crear modelos específicos o más livianos entrenados con imágenes, pero claro, es un modelo privado, el único que hay, está sora pero es que sora ni lo han abierto para probarlo.


En este momento, no tenemos un cronograma ni detalles adicionales para compartir sobre la disponibilidad pública más amplia de Sora. Tomaremos varias medidas de seguridad importantes, incluida la participación de legisladores, educadores y artistas de todo el mundo para comprender sus preocupaciones e identificar casos de uso positivos para esta nueva tecnología. Estén atentos a nuestra cuenta de Twitter y nuestro sitio web para obtener más actualizaciones.
https://help.openai.com/en/articles/895 ... ccess-sora

Actualmente gen 3 es lo más parecido a sora y privado, necesitamos algo abierto que venga de la mano de Stability AI o de Black Forest Labs, o que nvidia se meta en esta historia directamente.








MARIO 64


Ésto será una realidad más pronto que tarde [babas]
RDR2 se ve increíble la verdad, obviando que no es perfecto, pero el resultado es bastante alucinante.


Con gran turismo recuerdo las primera imágenes del post y ahora ya es movimiento hecho realidad, aunque aún sin mucha consistencia, pero llegará tarde o temprano.




Ahí van más, el tomb raider parece la vida real, en general todos parecen vídeos reales, aunque algunas animaciones a veces parecen que van como con stop motion, es lo único que no me gusta, algunos parecen escenas de película, obviando que la IA a veces interpreta las cosas a su manera y no es perfecta pero la verdad que es bastante alucinante.






39 respuestas