DLSS 2.0: detalles técnicos
Nuestro marco de gráficos neuronales, NGX, entrena una red neuronal profunda frente a decenas de miles de bonitas imágenes de alta resolución, renderizadas sin conexión en un superordenador a velocidades de fotogramas muy bajas y 64 muestras por píxel. Basándose en el conocimiento de innumerables horas de entrenamiento, la red puede tomar imágenes de menor resolución como entrada y construir hermosas imágenes de alta resolución.
DLSS 2.0 tiene dos entradas principales que alimentan la red de IA:
Imágenes con alias de baja resolución renderizadas por el motor del juego.
Baja resolución, vectores de movimiento de las mismas imágenes, también generados por el motor del juego.
Los vectores de movimiento nos dicen qué objetos de dirección de la escena se mueven de un fotograma a otro, y podemos aplicar estos vectores a la última salida de fotogramas de alta resolución de la red para calcular cómo se verá el siguiente fotograma.
The NVIDIA DLSS 2.0 Architecture
Arriba: arquitectura DLSS 2.0
Un tipo especial de red de IA, llamado autocodificador convolucional, toma el fotograma actual de baja resolución y el último fotograma de alta resolución para determinar, píxel a píxel, cómo generar un fotograma actual de mayor calidad.
Durante el entrenamiento de la red de IA, la imagen de salida se compara con una imagen de referencia renderizada nativa de 16K de calidad ultra alta, y la diferencia se comunica de nuevo en la red para que pueda seguir aprendiendo y mejorando sus resultados.