El vídeo filtrado está narrado por Sharwin Raghoebardajal, un ingeniero de Sony Interactive Entertainment que trabaja en tecnología de videojuegos, inteligencia artificial, visión artificial y tecnología facial para el grupo de tecnología avanzada de PlayStation. A lo largo del vídeo el ingeniero muestra una versión de Aloy con inteligencia artificial generativa que puede mantener una conversación con el jugador durante una partida a Horizon Forbidden West. Aloy responde a las preguntas con una voz sintetizada con IA y cuenta con movimiento facial.
La demostración tecnológica usa Whisper, un sistema de IA de Open AI para transcribir archivos de audio a texto, y tanto GPT-4 como Llama 3 para las conversaciones y la toma de decisiones. Para generar la voz y trasladar las emociones a la expresión facial se emplea una tecnología propiedad de Sony. Raghoebardajal aclara que se trata de un prototipo desarrollado junto a Guerrilla Games con el propósito de mostrar la tecnología de forma interna. Evidentemente no es material destinado al público y el vídeo se ha retirado de YouTube por una reclamación de derechos de autor. Lo que tenéis a continuación es un clip capturado por The Verge.
Hay otras compañías que han estado trabajando en ese tipo de tecnología. Una de ellas es Nvidia con Ace. Esta herramienta permite dar vida a NPCs con IA generativa que además de poder mantener conversaciones "inteligentes, espontáneas y dinámicas" tienen una personalidad persistente que evoluciona con el tiempo y animaciones y expresiones faciales. También hemos visto un prototipo de Ubisoft que usa IA generativa para mejorar las conversaciones con los NPCs, mientras que entre los proyectos de Xbox tenemos la integración de Copilot en los juegos o una IA llamada Muse capaz de crear gameplay y mecánicas de juego.
