Remasterización de Final Fantasy VII usando redes neuronales ESRGAN (magia negra)

Archivado
En los últimos días se ha hablado al respecto de la última actualización de Twilight Princess para Nvidia Shield (China) en cuanto a que pudieran ser assets tratados con redes neuronales, aunque todo parece indicar que no son más que nuevas texturas.

Sin embargo hay por ahí proyectos llevados a cabo con versiones modificadas de ESRGAN y tienen un aspecto alucinante. Solo hay que ver cosas como la remasterización de los fondos de Final Fantasy VII llevada a cabo por un usuario llamado satsuki en los foros de qhimm.

Imagen

Imagen

Imagen

Imagen

Al lado de otras redes neuronales como Waifu2X o post-procesados clásicos (bilinear, HQX, Eagle, etc) parece magia.

Sí que es cierto que, en determinados elementos, se ven las costuras, como por ejemplo en los árboles, pero también es verdad que esas imágenes están aumentadas a 4X, para una remasterización 1080 tampoco es necesaria tanta calidad.

Obviamente proyectos como el de Team Avalanche, que consiste en crear los fondos desde cero en 3D, como hizo Squaresoft en su día en Lightwave, y renderizarlos es lo ideal. Pero claro, eso puede llevar años o décadas, requiere mucho trabajo. Mientras que remasterizar los cientos de fondos del juego con ESRGAN puede llevar una tarde, tema no es procesarlos sino adaptar la red neuronal para que de los mejores resultados, es lo que lleva más tiempo.
im-presionante!!!!
Es extraño el poco bombo que se le ha dado a este hilo, la tecnica es impresionante y puede ser un resurgir de juegos antiguos en televisiones modernas.
[flipa] [flipa] Sería la ostia si se implementará para más juegos u emuladores está técnica sería una pasada !!!! :O
¿Esto solo funciona con fondos pre-renderizados o también vale para juegos íntegros en 3d?
Hace un par de semanas fue publicado Remako, por si queréis probarlo.

https://captrobau.blogspot.com/2019/01/ ... eased.html

Para mi tiene un poco de peor calidad que el trabajo de Satsuki, a raíz de las imágenes, y además lo han lanzado sin mucho testeo, con lo que es posible que tenga errores de fondos (transparencias, planos individuales, etc). Satsuki creo que está corrigiendo el juego para que sea lo más pulido posible.

Hay un Reddit para trabajos de remasterizado usando redes neuronales, por cierto.

https://www.reddit.com/r/GameUpscale/new/

_revan_ escribió:¿Esto solo funciona con fondos pre-renderizados o también vale para juegos íntegros en 3d?

Se puede aplicar en cualquier tipo de imagen, con lo que en texturas también puede funcionar. De hecho Nintendo China decía que los assets de Twilight Princess eran los originales tratados con redes neuronales adversariales, luego he leído que no lo eran pero no sé en qué quedó la cosa

Sin embargo el tema de las texturas diría que es más complicado porque, generalmente, vienen almacenadas en sets, junto con otras texturas, y divididas en trozos, según el tipo de texturas que pueda manejar la consola, la resolución, si usa triángulos (Playstation) o quads (Saturn), etc. En esos casos las redes no tienen una imagen global de lo que están tratando sino partes de ella, con lo que no creo que sea viable. En esos casos habría que unir las imágenes, tratarlas y volverlas a dividir. Es posible (y se ha hecho) pero es un proceso más laborioso. Los fondos de Final Fantasy VII están tal cual, la imagen completa.

linx_zangetsu escribió:[flipa] [flipa] Sería la ostia si se implementará para más juegos u emuladores está técnica sería una pasada !!!! :O

Imagino que algún día, con la suficiente potencia o un hardware dedicado, esto no será más que otro tipo de filtrado, como hoy lo es el bilinear, hqx, etc.
linx_zangetsu escribió:[flipa] [flipa] Sería la ostia si se implementará para más juegos u emuladores está técnica sería una pasada !!!! :O


Pues que yo sepa ya se puede usar en cualquier emulador, de hecho en el hilo de arcades y emulacion hay un hilo y enseñan como aplicarlo, incluso hay un video rulando de RE2 en dolphin usando está técnica
Este hilo ha acabado con mis datos móviles [carcajad]
Si sacan un programa de esto y puede usarlo cualquiera,
me gustaría dejarle trabajar con fondos del baten kaitos origins, a ver que hace.
Son de 800x600 y cosas así ya.
Tienes algún link donde expliquen el funcionamiento de esta técnica en profundidad?
SherLP escribió:Tienes algún link donde expliquen el funcionamiento de esta técnica en profundidad?

Aquí tienes un "libro" donde se explica por encima el proceso para los fondos del Final Fantasy IX. Son pocos párrafos y muchas imágenes. Para más detalle quizás en el hilo de steam del mod, donde se discuten de vez en cuando sobre las maneras de mejorar los fondos y ya sería buscar esos términos y técnicas.

http://online.fliphtml5.com/cedno/qvrv/

Link del proyecto: https://sites.google.com/view/moguri-mod/
9 respuestas
Archivado
Volver a General