Blog

Jun 08, 2023

Nuevos sensores y aplicaciones de visión artificial impulsan avances en óptica

Fuente de todas las imágenes: A3 Antes de que cualquier cámara pueda capturar una imagen de un objeto, la lente debe recolectar la luz dispersada del objeto y distribuirla adecuadamente sobre el área activa del sensor. Ese es uno

Fuente de todas las imágenes: A3

Antes de que cualquier cámara pueda capturar una imagen de un objeto, la lente debe recolectar la luz dispersada del objeto y distribuirla adecuadamente sobre el área activa del sensor. Ésa es una de las razones por las que los sensores de las cámaras y las nuevas aplicaciones de visión artificial tienden a impulsar avances paralelos en la óptica, y los proveedores de óptica deben evolucionar continuamente a medida que avanzan las tecnologías de visión artificial.

"Vemos constantemente que las aplicaciones de visión artificial alcanzan resoluciones más altas", afirma Nick Sischka, recientemente ascendido a director de desarrollo de productos de imágenes en Edmund Optics. "Hemos dejado de notar que los píxeles se vuelven significativamente más pequeños y, en cambio, vemos crecer el tamaño de los sensores".

A medida que empresas como Gpixel y Sony siguen lanzando sensores cada vez más grandes (por ejemplo, 152 MP), el desafío para los proveedores de óptica es mantener el ritmo. Estos lentes serán bastante grandes (más grandes que los lentes de fotograma completo que normalmente se usan en fotografía) y hasta que se desarrollen otros nuevos, un lente fotográfico de formato medio puede ser la mejor opción.

"Deben desarrollarse lentes para los sensores muy grandes de 60,6 mm de diagonal que ofrecen más de 150 MP", afirma Mark Peterson, cofundador y vicepresidente de tecnología avanzada de Theia Technologies. "Desafortunadamente, el costo de desarrollo, el gran tamaño de la lente y el bajo volumen inicial mantendrán estas lentes a un precio superior".

Jason Baechler, presidente de MORITEX North America Inc., está de acuerdo. "Al diseñar ópticas para sensores cada vez más grandes, existen varios desafíos, especialmente si los tamaños y pasos de los píxeles son bastante pequeños", afirma. "Los dos desafíos principales son controlar el tamaño y el costo de las lentes/ópticas para alinearlas con las cámaras que utilizan sensores tan nuevos. Más allá del desafío de abordar todos los sensores de cámara que existen, esos dos factores aumentan la necesidad de hacer concesiones en óptica y diseños mecánicos."

Para lentes bitelecéntricas, MORITEX diseña las lentes frontales/objetivas para igualar el campo de visión máximo con una resolución específica. Esa parte frontal de la lente puede ser adecuada para una amplia gama de formatos de sensores de imagen, lo que minimiza la variación de componentes dentro de su cartera y optimiza el costo de los componentes de lentes telecéntricos más caros. Sin embargo, la parte trasera de la lente (lado de la imagen) varía según el formato de la imagen y el resultado es que la longitud no siempre está optimizada.

Por este motivo, señala Baechler, "seguimos ofreciendo lentes telecéntricas del lado del objeto de diferentes formatos para aplicaciones con requisitos de espacio más reducidos". Sin embargo, esas lentes (MORITEX MML) solo se pueden usar con un formato de sensor específico o más pequeño, suponiendo que el tamaño de la montura sea el mismo. Para la automatización de fábricas y otras lentes de longitud focal fija no telecéntricas (donde algunas lentes de objetivo grandes o de alta potencia no aumentan el costo), las compensaciones aumentan con la versatilidad y competitividad de costos de los productos.

Al minimizar la cantidad de elementos en una lente y simplificar los sistemas optomecánicos para la distancia de trabajo (WD), la apertura y el ajuste del enfoque, se puede diseñar una lente para un rango de distancia de trabajo y/o tamaño de apertura limitados. Otra forma de abordar esto es diseñar productos que cubran una variedad de formatos de sensores y ofrecer adaptadores de montaje para que coincidan con diferentes cámaras.

"Este enfoque tiene la ventaja de una resolución mejorada, ya que el formato de imagen del sensor se hace más pequeño en comparación con el formato de imagen máximo de la lente", explica Baechler. "Como resultado, una lente diseñada para una imagen de 62 mm de diagonal (o línea) y 5 µm de píxeles podría igualar a un sensor con 3 µm de píxeles y una diagonal de 43,5 mm".

En respuesta al creciente lanzamiento de sensores más grandes, Navitar Inc. también ha desarrollado ópticas optimizadas para su uso con formatos de cámara más grandes. Un nuevo producto es adecuado para aplicaciones industriales de alta gama, como la inspección de obleas semiconductoras, la inspección FPD y MEMS, así como para aplicaciones biomédicas y de ciencias biológicas, como experimentos de múltiples pozos e imágenes de células.

Jeremy Goldstein, propietario y director ejecutivo de Navitar, señala que las nuevas ópticas para aprovechar las cámaras de mayor formato "permiten a Navitar ofrecer a sus clientes campos de visión más amplios para que el cliente pueda ver más objetos a la vez. Esto aumenta el procesamiento rendimiento y velocidad de recopilación de datos, lo cual es extremadamente importante para todas las industrias, tanto industriales como médicas".

Especialmente en la investigación y los instrumentos biológicos, la captura de una superficie más grande de una muestra reduce la cantidad de tiempo para recopilar datos significativos y la posibilidad de fotoblanqueo de las células marcadas. Según Goldstein, el tiempo que antes se dedicaba a mover la óptica, el escenario o esperar a que el software uniera varias imágenes se reduce considerablemente cuando se utiliza el sistema.

Los informes de la industria esperan que las imágenes no visibles, incluidas las ultravioleta, las infrarrojas de onda corta, las IR y las hiperespectrales y multiespectrales, crezcan más del 30 por ciento en los próximos cinco años. A medida que las opciones de sensores/cámaras se han expandido rápidamente en los últimos años, los costos han bajado, lo que ha estimulado una explosión de nuevas aplicaciones, lo que, a su vez, ha ampliado la demanda de una variedad de lentes necesarios para abordar estas nuevas aplicaciones.

Peterson señala que Theia había desarrollado lentes SWIR únicamente en el pasado, antes de que estuvieran disponibles los nuevos sensores hiperespectrales. "Ahora estamos evaluando nuevos tipos de lentes que pueden funcionar con sensores vis-SWIR avanzados que responden a longitudes de onda de 400 nm a 1700 nm, para proporcionar una imagen ultra ancha y eliminar la distorsión de barril sin software".

Y añade: "Aún no se ha identificado la 'aplicación asesina' para esta banda de longitud de onda vis-SWIR, pero el costo cada vez menor de los sensores hiperespectrales requerirá la disponibilidad de lentes que complementen la banda de longitud de onda amplia".

En imágenes hiperespectrales, Sony ha introducido sensores de imágenes de banda ancha, pero hasta que haya una capa hiperespectral real sobre ellos, la mayoría de las aplicaciones utilizarán una banda de longitud de onda estrecha a través de ese sensor, como SWIR, según Sischka.

"A menudo tiene más sentido tener una solución multicámara con diferentes sensores enfocados en diferentes bandas de ondas en lugar de tener una cámara muy costosa que pueda tomar imágenes en todo el amplio espectro", dice Sischka. "Una excepción a esto sería una aplicación en la que minimizar el peso sea una prioridad, como las imágenes aéreas desde un dron".

Otros avances en óptica que son importantes para el mercado de la visión artificial incluyen lentes de zoom, nuevos materiales ópticos y métodos de fabricación mejorados. Por ejemplo, según Peterson, las lentes con zoom, que antes se consideraban indeseables debido a las preocupaciones sobre los efectos de la vibración en la mecánica motorizada, se están adoptando en mayor número.

La mayor adopción está impulsada por aplicaciones en las que el tema no es sólo un producto de forma uniforme en una línea de montaje, sino un objeto a una distancia desconocida y variable. Un ejemplo son las aplicaciones móviles, donde el objeto, el generador de imágenes o ambos pueden estar en movimiento. Mientras tanto, los robots fijos y los robots autónomos itinerantes requieren la flexibilidad de una lente de zoom para navegar e identificar objetos en un entorno dinámico.

Peterson también dice que las lentes motorizadas con zoom y enfoque ajustables brindan mayor versatilidad y conveniencia, permitiendo el ajuste a condiciones cambiantes, configuración y operación remotas. Combinado con alta resolución y corrección NIR, así como inteligencia artificial y aprendizaje automático, este tipo de lente puede ser una herramienta poderosa para permitir tareas de identificación y reconocimiento de mayor nivel, como detección de defectos, reconocimiento óptico de caracteres (OCR) y reconocimiento automático de matrículas. .

Una de esas aplicaciones son los sistemas de tráfico inteligentes (ITS), donde la flexibilidad para optimizar el campo de visión y la distancia de enfoque después de la instalación inicial y sin la necesidad de detener el tráfico se logra mediante el zoom y el enfoque motorizados. La optimización de imágenes es fundamental para obtener el mejor rendimiento para identificar objetivos mediante OCR, IA y aprendizaje automático.

"Existe un malentendido común de que un sistema de imágenes sólo es útil si está limitado por píxeles y funciona en la frecuencia de Nyquist", dice Sischka. "Las lentes de imágenes pueden ser muy útiles más allá de la frecuencia de Nyquist, lo que significa que el tamaño del píxel es más pequeño que el tamaño del punto enfocado de la lente. Por ejemplo, difuminar varios píxeles en una característica es útil para soluciones de tráfico inteligentes porque les permite notar pequeños diferencias entre objetos que se ven relativamente similares entre sí".

Como se mencionó anteriormente, la incorporación de metamateriales será muy interesante, pero aún no ha llegado a su fin, afirma Sischka. La ciencia de los materiales será clave para lograr mayores avances en el servicio de sensores más grandes y rangos de longitud de onda más amplios. Las imágenes computacionales y la capacidad de utilizar elementos difractivos también han dado lugar a avances recientes.

Baechler está de acuerdo. "Las opciones de materiales han ayudado a mantener bajos los costos y aumentar el rendimiento de las lentes diseñadas para sensores IR-SWIR", afirma. "Las lentes líquidas permiten soluciones novedosas y también una mayor versatilidad de los diseños ópticos básicos existentes".

Cuando Samsung, especialista en la fabricación de pantallas LCD, estaba cambiando su enfoque de la fabricación de paneles LCD a la fabricación de paneles QD-OLED (diodo emisor de luz orgánico para pantalla de puntos cuánticos), la empresa necesitaba nuevas máquinas de inspección óptica automatizada (AOI) para realizar la inspección. La solución AOI requería un sistema de microscopio modular para realizar la inspección. Samsung evaluó varios objetivos de diferentes fabricantes, pero eligió el objetivo Navitar 4X HR porque no solo proporcionaba un campo de visión más amplio en comparación con un objetivo 5X de la competencia, sino que también ofrecía una NA más alta.

Goldstein también ve la expansión continua del uso de "técnicas de ensamblaje avanzadas que garantizan el centrado de cada elemento óptico del conjunto de lentes en lugar de simplemente dejar caer los elementos de las lentes en barriles", y agrega que Navitar está a la vanguardia de esta tecnología. "Al combinar las técnicas de ensamblaje avanzadas con el uso ampliado de equipos automatizados de integración de lentes y sensores, mejoramos el rendimiento de las lentes y mejoramos en gran medida el rendimiento de imágenes del sistema óptico".

A medida que los fabricantes de lentes intentan seguir el ritmo del lanzamiento de nuevos sensores de cámara y la expansión de las aplicaciones de visión artificial donde ahora son factibles soluciones avanzadas, continuamente surgen nuevas oportunidades, incluso en el campo de la robótica y las máquinas autónomas. Los aumentos en el rango dinámico permiten que los vehículos autónomos sean mucho más robustos y los robots ahora pueden realizar múltiples tareas. En aplicaciones minoristas, pueden reconocer simultáneamente interrupciones de productos, riesgos de seguridad y discrepancias en las etiquetas. Como la mayoría de los robots, automatizan tareas tediosas y repetitivas, liberando al talento humano para tareas de mayor valor que requieren más matices y discreción.

Además de las nuevas aplicaciones, las aplicaciones existentes también se benefician del mayor rendimiento logrado por las ópticas de mayor formato que aprovechan los sensores de mayor formato. Proporcionar más datos para mejorar la calidad de la imagen y la velocidad de procesamiento de imágenes debería mejorar la eficiencia y el rendimiento de la IA, lo que permitiría mayores avances en la automatización. Los datos y metadatos precisos sobre ópticas y sensores son fundamentales para permitir conceptos como el gemelo digital y la Industria 4.0.

John Lewis es gerente de desarrollo de mercado de Cognex Corp. (Natick, MA). Para obtener más información, llame al (508) 650-3000 o visite www.cognex.com.