Esta es la estrategia básica detrás de los IMX500 e IMX501, dos sensores de imagen de 12,3 megapíxeles que destacan por incorporar funciones de inteligencia artificial básicas directamente en el empaquetado.
La idea general es que el propio sensor no se limite a capturar la luz y transformarla en información visual (fotos o vídeos), sino que los chips de IA y la memoria integrada puedan reconocerla y traducirla a metadatos, evitando de esta forma su procesamiento en la nube.
Entre las posibilidades que brindarían los sensores de visión inteligente de Sony, que es como los denomina la empresa, se cuentan el recuento de personas en un edificio, el análisis de los patrones de desplazamiento y la generación de mapas de calor para detectar aglomeraciones sin necesidad de exportar sus datos, usando únicamente un circuito cerrado.
Este tipo de funciones se realizan normalmente fuera del chip, ya sea en chipsets específicos o, en el caso de grandes instalaciones, usando sistemas de procesamiento en la nube. Haciendo que el propio sensor se comporte como un sistema de procesamiento autocontenido se reduce la complejidad del sistema, pero sobre todo se evita el envío de información a centros de datos, lo que según Sony podría redundar en una mayor privacidad.
El procesamiento de IA realizado por Sony se basa en un algoritmo estándar (MobileNet V1) y es aparentemente mucho más rápido que el de tecnologías rivales, analizando cada fotograma en 3,1 milisegundos en lugar de cientos.
El uso de sensores con IA para el reconocimiento de objetos y movimiento también es interesante porque abre a Sony las puertas de un mercado potencialmente enorme pero todavía poco explorado como es el del Edge Computing. Este es el nombre utilizado para describir los sistemas con capacidades de análisis básicas in situ (por ejemplo, monitorización del tráfico en una calle desde una farola), ya sea para proporcionar datos en grandes cantidades para su análisis local o para "deglutirlo" antes de su envío a la nube, ahorrando ancho de banda y tiempo de procesamiento al enviar información semántica en lugar de imágenes (por ejemplo, la palabra "persona" en lugar de un fotograma como tal). Así que sobre el papel sus sensores han sido pensados para evitar el uso de la nube, pero también pueden mejorar su uso haciendo que sea más eficiente.
Como tales, los IMX500 e IMX501 (chip suelto y chip para su integración en placas, respectivamente) no son productos tremendamente interesantes para el consumidor, pero podrían allanar el camino a dispositivos mucho más inteligentes y sin embargo más simples. También podría diversificar el negocio de semiconductores de Sony con una propuesta potencialmente muy lucrativa.
