Objetivos
Este proyecto plantea actividades de I+D+i vinculadas al desarrollo de sensores de imagen inteligentes capaces de añadir a la captación y procesamiento de la imagen bi-dimensional convencional, la funcionalidad de producir el mapa de profundidad de la escena, lo que se conoce como sensado 3-D, empleando técnicas basadas en la medición del tiempo de vuelo (acrónimo ToF), e incorporar la capacidad de procesamiento inteligente a nivel de píxel también al sensado 3-D.
Conviene aquí definir tres conceptos usados en este apartado:
- El concepto procesamiento en el plano focal expresa la incorporación de circuitería de procesamiento y almacenamiento embebida en los píxeles. El procesamiento en el plano focal es por tanto inherente al uso de píxeles multi-función.
- La visión temprana es responsable de discernir el tamaño y número de los objetos incluidos en una escena, de extraer sus contornos, y de inferir sus formas y sus movimientos. Esto se consigue extrayendo características espacio-temporales de las escenas, haciendo un seguimiento de sus puntos salientes e identificando regiones de interés. En resumen, se trata de un análisis preliminar que resulta crucial para realizar funciones de visión de alto nivel, esto es, para comprender e interpretar las imágenes.
- La adquisición de imágenes con alto rango dinámico (acrónimo HDR), se refiere a representar fidedignamente escenas con luminosidades muy dispares (en general con niveles de señal muy dispares), atributo que resulta fundamental para aplicaciones industriales.
Abordamos la problemática del diseño de sensores inteligentes de imagen 2-D/3-D desde una perspectiva integral, usando procesamiento en el plano focal, visión temprana y manipulando imágenes HDR. Los objetivos concretos del proyecto van desde el desarrollo de la parte sensora más básica hasta las consideraciones arquitecturales de más alto nivel y se formulan como sigue:
- A nivel del dispositivo fotosensor, investigar y desarrollar combinaciones de detectores para calcular tiempos de vuelo junto con imágenes de alto rango dinámico (HDR), buscando que ambos tipos de detectores coexistan en el mismo pixel y trabajen de manera simultánea.
- A nivel de pixel, incorporar inteligencia al sensado 3-D más allá de la calibración de errores (que es lo máximo que se incorpora a día de hoy), y desarrollar técnicas para mejorar la calidad del mapa de profundidad usando realimentación desde el sensado 2-D de la imagen, empleando para ello circuitería y algoritmos que permitan la extracción de características de la imagen 2-D.
- A nivel arquitectural, investigar y desarrollar técnicas para distribuir las funciones de adquisición y procesamiento en múltiples capas de semiconductor, de forma compatible con las tecnologías de integración basadas en apilamiento de "wafers".
- A nivel de sistema, desarrollar chips de visión 2-D/3-D con control embebido y entrefases optimizadas para obtener salidas digitalizadas a alta velocidad, todo ello empleando consumos de potencia mínimos.
- A nivel de prototipos experimentales, diseñar y fabricar dos chips:
- En el primero de ellos se integrarán diversas estructuras de prueba para caracterizar distintos tipos de fotosensores ToF junto con distintos bloques básicos usados para el procesamiento a nivel de pixel. Este primer prototipo se integrará en una tecnología CMOS planar por criterios de reducción de coste. Para asegurar la portabilidad total de estos resultados de caracterización a la tecnología 3Dwstack, este primer prototipo se integrará en una tecnología compatible CMOS tipo "bulk" de 130nm.
- El segundo prototipo será el activo experimental básico del Proyecto. Consistirá en un chip 3DWSTACK-IC concebido para captar y combinar imágenes 2-D y 3-D, con procesamiento a nivel de pixel y la capacidad de realizar tareas de visión temprana. Este dispositivo se fabricará usando la tecnología 3DWSTACK-IC de Tezzaron Semiconductor (www.tezzaron.com) que está disponible a través del consorcio CMP (cmp.imag.fr).
- Además de la pertinente caracterización eléctrica y funcional del sensor, el sistema de visión se montará sobre una plataforma robótica móvil disponible en el IMSE (robot Koala II, www.k-team.com, para la navegación guiada por visión 3-D (distinta de la estereoscopía habitual).