[HILO] Fotogrametría y SCAN 3D en videojuegos | Hardware y herramientas de inteligencia artificial

Responder
FOTOGRAMETRÍA Y SCAN 3D EN VIDEOJUEGOS
Hardware - Software y herramientas de Inteligencia Artificial
Abro este hilo para compartir contenido audiovisual interesante sobre el escaneo 3D y todas las posibilidades que podemos conseguir utilizando simplemente una cámara + capturadora + software, desde la recreación de objetos tridimensionales de la vida real e incluso de edificios y terrenos para utilizarlos en videojuegos, hasta la creación de animaciones, tanto corporales como faciales.
Imagen

ESCANER 3D
Un escáner 3D es un dispositivo que analiza un objeto o una escena para reunir datos de su forma y ocasionalmente su color. La información obtenida se puede usar para construir modelos digitales tridimensionales que se utilizan en una amplia variedad de aplicaciones. Desarrollados inicialmente en aplicaciones industriales (metrología, automóvil), han encontrado un vasto campo de aplicación en actividades como la arqueología, arquitectura, ingeniería, y entretenimiento (en la producción de películas y videojuegos).
https://es.wikipedia.org/wiki/Esc%C3%A1ner_3D
https://es.wikipedia.org/wiki/Artec_3D

🔲LÁSER ESCÁNER 3D
Un escáner láser 3D es un dispositivo sin contacto y no destructivo que captura digitalmente medidas 3D de objetos y sus entornos circundantes mediante láseres. Cuando un usuario escanea un objeto, el escáner láser 3D proyecta un patrón codificado de luz de los láseres.
Imagen

Ventajas del Escáner Láser 3D

-Rapidez en la captura y procesamiento de datos ( hasta 10 veces más rápido)
-Seguridad en la recolecta de información necesaria, permitiendo reducir los tiempos de documentación y evitando volver a tomar los datos por ausencia de información durante la primera toma
-Exactitud en las medidas con un margen de error +/- 2mm
-Máxima Precisión
-Alta funcionalidad en el levantamiento, incluso ante la ausencia total de luz
-Documentación 360º en horizontal y 320º en vertical

Desventajas del Escáner Láser 3D

-Planificación previa de las posiciones de escaneado y de la resolución deseada para el nivel de detalle
-La nube de puntos de alta resolución requiere de equipos potentes para su procesamiento
-Alto coste de adquisición de equipos
-La compra de software específico y el tiempo de inversión en formación

Leica's BLK360: este tipo de escáneres marcarán un antes y un después dentro de la industria cuando la IA tenga aplicaciones dentro de la reconstrucción ya que como podéis ver el escáner llega a reconstruir interiores con este posicionado desde un exterior, por lo que podríamos reconstruir edificios enteros y sus interiores.



https://www.youtube.com/watch?v=LgI02cn1RdY


HANDY SCAN DE LUZ
Creaform HandySCAN Black Elit:

Artec Leo




🔲FOTOGRAMETRÍA / PHOTO SCAN 3D
Fotogrametría es un conjunto de técnicas que, mediante una cámara fotográfica, permiten deducir una proyección cónica de la imagen, sus dimensiones y la ubicación de una zona.



Ventajas de la fotogrametría

-Ofrece una representación gráfica del terreno en forma actualizada
-Es fácil de obtener y tiene precios asequibles, una buena cámara y un software para el procesamiento de las imágenes y conversión al 3d es suficiente.
-Permite obtener información de zonas de difícil acceso (mediante drones, fotogrametría aérea)
-Útil en la representación de elementos con texturas características

Desventajas de la fotogrametría

-La dificultad de clasificación de algunos elementos (vegetación, la inaccesibilidad a todos los ángulos del elemento…)
-No permite efectuar mediciones con tanta exactitud
-La calidad de la cámara influye en el resultado. Así que, si los relieves son importantes en la documentación, habrá que invertir en buenos equipos y personal cualificado que pueda realizar la postproducción de los fotogramas
-Carece o no tiene demasiada información marginal
-Gran cantidad de trabajo en oficina de post-producción durante el proceso de elaboración de la nube de puntos


FOTOGRAMETRÍA DE ROSOTROS Y PERSONAJES



FOTOGRAMETRÍA DE TERRENOS CON DRONES


FOTOGRAMETRÍA DE OBJETOS

https://www.youtube.com/watch?v=1D0EhSi-vvc

🔲CAPTURA DE MOVIMIENTOS PARA EL TRACKING Y LA CREACIÓN DE ANIMACIONES CON CÁMARA:

KINECT XBOX ONE
Captura de movimientos con kinect + blender:


Animación facial con una cámara y un rotulador + blender:



https://www.youtube.com/watch?v=EUR6vsE0k6E


Y bueno, después de esta simple introducción de ahora en adelante iré publicando vídeos y cosas enfocadas al desarrollo de videojuegos, lo que quería también era postear making-of de juegos que hay muchos.
Pues sí que es interesante el tema [oki]
FOTOGRAMETRÍA EN CHERNOBYLITE
Escaneo aéreo de edificios con drones y de un muñeco con una turntable:






FOTOGRAMETRÍA EN RESIDENT EVIL 7
Fotogrametría de algunas texturas/efectos en las superficies como paredes y suelo. Para capturarlas ponen un croma verde en el suelo y luego vuelcan en el material que quieran capturar, luego toman una foto y una vez digitalizadas ya las pueden poner en las superficies del mundo 3D que están creando eliminando la parte verde del croma. Se puede observar como cartón mojado que ha quedado pegado al suelo o como una substancia pegajosa mezclada con pelos que da una sensación de bastante repelús. Realmente parece una técnica bastante sencilla.

En el segundo 41 empieza a hablar de la localización, Louisiana, incluso se ve parte del jardín mientras le hacen fotos, dice que fueron a tomar imágenes de objetos y edificios, también menciona la fotogrametría como (photo scan). En el minuto 1:51 aparece un interior real del juego, pero por lo general no hay mucho contenido sobre el tema.
https://www.youtube.com/watch?v=rG-YUi4eO50


FOTOGRAMETRÍA EN STAR WARS BATTLEFRONT

FOTOGRAMETRÍA EN BATTLEFIELD V


FOTOGRAMETRÍA Y ESCANER CON LASER EN FORZA MOTORSPORT 7


FOTOGRAMETRÍA DE LOS TERRENOS EN HELLBLADE 2
En el vídeo comentan que el equipo de Ninja theory fue con miembros de la empresa Quixel para tomar capturas de los terrenos de Islandia para su futuro juego Hellblade 2.


Recomiendo echarle un ojo a la web de Quixel porque hay muy buena información, hasta puedes encontrar entrevistas a profesionales del sector, entre ellos miembros del equipo de naughty dog.
https://quixel.com/blog/2018/6/26/capturing-the-world


QUIXEL
Quixel es una empresa que se dedica a crear librerías 3D mediante megascans tanto para videojuegos, películas, arquitectura, etc...

Imagen

La demo de UE5 que presentó sony para PS5 está hecha con assets de Quixel.
https://quixel.com/blog/2020/5/14/build ... l-engine-5
Imagen



TEXTURAS DE THE LAST OF US 2
Imagen
Imagen
Imagen
Imagen
Imagen
[img][/img]
[img][/img]
LAS FÍSICAS Y ANIMACIONES DE UNCHARTED 4 Y DE JEDI FALLEN ORDER


He visto esta belleza y tenía que compartirla
Una demostración de tracking con Metahuman de Epic Games utilizando recursos muy básicos





Autodesk tiene buen software dedicado a la fotogrametría:
https://www.autodesk.com/solutions/phot ... y-software
El recap es bastante impresionante en combinación con un dron:



En impresión 3d hay bastante gente que usa el kinect original o el de one para hacer escaneos faciales.
@JulesRussel hace nada vi esto:



Es como un herramienta dedicada pero para unreal engine:





@katatsumuri La verdad es que lo que se consigue con fotogrametría es bastante impresionante. Para objetos una cosa que suele hacer la gente es una base circular que se mueva con unos steppers en ángulos pequeños y un control bluetooth para la cámara que se activa a cada movimiento. Pongo un ejemplo, tiene las instrucciones en los comentarios.
Animar facialmente un metahuman si tienes un IPHONE


Animar facialmente un metahuman si tienes Android o Webcam


Parece casi la realidad:

Un corto:



CREAR UN ZOMBIE CON METAHUMAN
ANIMACIÓN CON INTELIGENCIA ARTIFICIAL ( AI4Animation )
https://github.com/sebastianstarke/AI4Animation



MOTION IMITATION (GOOGLE)
https://github.com/google-research/motion_imitation
@katatsumuri desarchivado


MEJORA LAS TEXTURAS CON CUPSCALE
https://github.com/n00mkrad/cupscale



Imagen






Este paper es muy interesante porque facilita la animación mucho
GAUSSIAN SPLATTING






@katatsumuri desarchivado
IMPORTAR FOTOGRAMETRÍA DE GOOGLE MAPS A BLENDER
DESCARGA: https://prochitecture.gumroad.com/l/blender-osm



ESTOS ÚLTIMOS MESES HAN APARECIDO MUCHAS HERRAMIENTAS POR IA


IMPORTAR GAUSIAN SPLATS A UNREAL ENGINE 5



Herramientas de gausian splats



MeshGPT
ChatGPT puede darte respuestas a casi cualquier pregunta, pero ¿y si también pudiera crear mallas 3D? Investigadores de la Universidad Técnica de Munich, Politecnico di Torino y AUDI AG se preguntaron lo mismo y luego presentaron MeshGPT, un nuevo método para generar mallas triangulares "que refleja la compacidad típica de las mallas creadas por artistas".

Hemos visto herramientas de inteligencia artificial que pueden generar modelos 3D, pero lo interesante de MeshGPT es que utiliza un modelo de lenguaje grande (LLM) para hacerlo.

Primero aprendemos un vocabulario de incrustaciones cuantificadas latentes, utilizando convoluciones de gráficos, que informan a estas incrustaciones de la geometría y la topología de la malla local. Estas incrustaciones se secuencian y decodifican en triángulos mediante un decodificador, lo que garantiza que puedan reconstruir la malla de manera efectiva. Un transformador Luego se entrena con este vocabulario aprendido para predecir el índice de la siguiente incrustación dadas las incrustaciones anteriores. Una vez entrenado, nuestro modelo puede muestrearse autorregresivamente para generar nuevas mallas triangulares, generando directamente mallas compactas con bordes afilados".

Si bien el vocabulario que conoce MeshGPT garantiza que obtenga el objeto que solicitó, este enfoque también puede generar formas novedosas, agregando variedad a la escena. Si le das una forma sin terminar, te sugerirá posibles terminaciones.

Los investigadores dicen que MeshGPT funciona mejor que los métodos de generación de mallas de última generación, con un aumento del 9% en la cobertura de formas. Como resultado, obtienes mallas compactas con detalles geométricos nítidos para tu escena 3D.

Move AI
Crea animaciones para juegos con simplemente un vídeo 2d


El sistema de captura de movimiento de CAPCOM con Monster Hunter Wilds.
Meshtron: generación de mallas 3D a escala, de alta fidelidad y con calidad artística

Las mallas son representaciones fundamentales de superficies 3D. Sin embargo, crear mallas de alta calidad es una tarea laboriosa que requiere mucho tiempo y experiencia en modelado 3D. Si bien un objeto delicado a menudo requiere más de104Las caras deben modelarse con precisión, pero los intentos recientes de generar mallas similares a las de un artista se limitan a1.6K caras y discretización intensa de las coordenadas de los vértices. Por lo tanto, escalar tanto el número máximo de caras como la resolución de las coordenadas de los vértices es crucial para producir mallas de alta calidad de objetos 3D complejos y realistas. Presentamos Meshtron, un nuevo modelo de generación de mallas autorregresivas capaz de generar mallas con hasta 64 000 caras a una resolución de coordenadas de nivel 1024, con un número de caras y una resolución de coordenadas de un orden de magnitud superior.8 ×resolución de coordenadas más alta que los métodos de última generación actuales. La escalabilidad de Meshtron está impulsada por cuatro componentes clave: (1) una arquitectura neuronal de reloj de arena, (2) entrenamiento de secuencia truncada, (3) inferencia de ventana deslizante, (4) una estrategia de muestreo robusta que impone el orden de las secuencias de malla. Esto da como resultado más de50 %menos memoria de entrenamiento,2,5 ×Rendimiento más rápido y mejor consistencia que los trabajos existentes. Meshtron genera mallas de objetos 3D complejos y detallados con niveles de resolución y fidelidad sin precedentes, muy similares a los creados por artistas profesionales, y abre la puerta a una generación más realista de activos 3D detallados para animación, juegos y entornos virtuales.
19 respuestas
Responder
Volver a Desarrollo