Así funciona el primer sensor con inteligencia artificial del mundo

Los sensores de captación de imagen IMX500 e IMX501 son los dos primeros chips con procesamiento de imagen incorporado por lógica. Permitiendo el procesado a través de la inteligencia artificial con mayor velocidad y contribuyendo al desarrollo de sistemas conectados a la nube.

La generalización del Internet de las cosas (IoT) ha hecho posible que cualquier tipo de dispositivo pueda conectarse a la nube. Con la intención de hacer común el uso de sistemas de procesamiento de la información donde esta se obtiene en dichos dispositivos y se procesa en la nube mediante Inteligencia Artificial.

¿Cómo funciona este sensor?

Estos nuevos sensores presentan una configuración por capas consistente en un chip de píxeles y otro chip de lógica. Son los primeros sensores de imagen del mundo equipados con funciones de análisis y procesamiento de imágenes con IA en el chip de lógica.

La señal adquirida por el chip de píxeles se procesa usando IA en el propio sensor. Permitiendo eliminar la necesidad de usar procesadores de alto rendimiento o memoria externa, y permite el desarrollo de sistemas de inteligencia artificial en el propio dispositivo (en inglés, Edge AI). A la vez que reducimos la emisión de temperatura de nuestro dispositivo.

Este sensor genera metadatos (información semántica que pertenece a los datos de la imagen) en lugar de la información de la imagen y aumenta la velocidad del procesado de seguimiento de objetos. Además, es capaz de reducir el volumen de datos generados y elimina los problemas de privacidad por pirateo del software.

El chip de pixeles está retroiluminado y tiene aproximadamente 12,3 megapíxeles efectivos para capturar información en un amplio ángulo de visión.

Ambos chips están equipados con un procesador digital de señal (DSP) original de Sony dedicado al procesamiento de la señal mediante inteligencia artificial (IA) y memoria para el modelo IA.

¿Qué formatos tengo en la salida?

Las señales adquiridas por el chip de píxeles se ejecutan a través de un procesador de señal de imagen (ISP). Mientras la carga del procesamiento de inteligencia artificial se realiza en la etapa de procesamiento en el chip de lógica.

La información extraída se genera en forma de metadatos, lo que reduce la cantidad de datos que se deben manejar. Puesto que no se muestra la información de la imagen, este sistema ayuda a reducir los riesgos de seguridad y a resolver los problemas de privacidad.

Además de la imagen grabada por el sensor de imagen convencional, podremos seleccionar el formato de salida de los datos según nuestras necesidades y usos. Podremos exportarlo como imágenes en formato ISP (YUV/RGB) o imágenes de áreas específicas o ROI (regiones de interés).

¿Cómo interactúa la Inteligencia artificial IA?

Cuando se graba un vídeo con un sensor de imagen convencional, se necesita enviar datos de cada fotograma individual para el procesamiento con IA. Todo este proceso provoca una alta transmisión de datos entre los equipos y dificulta el rendimiento adecuado en tiempo real. Los nuevos sensores de Sony realizan el procesamiento ISP así como la IA a alta velocidad (procesamiento de 3,1 milisegundos para MobileNet V1 en el chip de lógica. Por lo que pueden, según nos cuentan desde Sony, completar todo el proceso en cada fotograma de vídeo. Este diseño hace posible ofrecer seguimiento de objetos de alta precisión en tiempo real durante la grabación de vídeo.

Una Inteligencia Artificial seleccionable

Según nos cuentan desde Sony, el usuario podrá escribir los modelos de IA de su elección en la memoria integrada. A la vez que podrá reescribirlos y actualizarlos según sus requisitos o los requisitos de la ubicación donde se utilice el sistema. Por lo que entendemos desde la redacción será necesario una especie de proceso de adaptación entre la IA y el usuario.

Por ejemplo, al instalar varias cámaras con este producto en un centro comercial, se puede usar de forma versátil un solo tipo de cámara en diferentes ubicaciones, circunstancias, momentos o propósitos. Si se decide instalar en los accesos de entrada-salida, se puede programar para contar la cantidad de visitantes que acceden al recinto.

Otro uso habitual puede darse en instalaciones dentro de un estante de una tienda. En este caso concreto se utilizaría para detectar el número de existencias. Pero también nos puede servir en el techo, para el mapeo térmico de los visitantes (para detectar los lugares donde se reúnen muchas personas), etcétera.

Además, el modelo de IA de una cámara concreta se puede reescribir de uno que sirva para detectar mapas de calor a otro que pueda identificar el comportamiento del consumidor, y así sucesivamente. Permitiendo elaborar complejos sistemas de procesado dentro de un mismo dispositivo.

No te olvides de pasar por esta entrada que publicamos durante su lanzamiento.