Esta IA integrada en unas gafas inteligentes recibe el nombre de Microsoft Cognitive Services y por lo que se pudo ver funciona junto a la aplicación Seeing AI. Ocurrió al final de la Keynote, momento en el que el CEO de Microsoft, Satya Nadella, explicó que buscan la tecnología que pueda mejorar la forma en la que los seres humanos nos comunicamos.
Tal y como vemos en el vídeo, la aplicación Seeing AI lleva en marcha un tiempo trabajando y mejorando la vida de un desarrollador ciego de Microsoft, Saqib Shaikh, en el Reino Unido. De esta forma vemos cómo es capaz de funcionar con el prototipo de gafas y su teléfono en el día a día.
Por ejemplo podemos ver como usa las gafas junto a la IA creada por Microsoft para tomar fotos y ayudarle a reconocer lo que está observando, como la cara de compañeros y sus emociones (basadas a su vez en la herramienta de reconocimiento facial de Microsoft).
En otro ejemplo vemos como la IA ayuda a Shaikh en un restaurante donde no tienen un menú en braille disponible, en su lugar utiliza el teléfono dándole instrucciones a la IA para tomar una foto completa del menú. El reconocimiento de texto se encargaría de la transcripción de la fotografía y posteriormente el sintetizador de voz transmite la información a través de los auriculares.
Un vídeo que muestra un primer ejemplo de lo que están intentado construir en el interior de Microsoft y las grandes posibilidades que existen, en este caso una tecnología que realmente ayude y tenga un impacto real en la vida de un usuario invidente en un futuro cercano.