��������������� ��������������������������������������������������� �������������������!������� ����������"���������������$#

Elena Moreda Montes Dpto. Lenguajes, Proyectos y Sistemas Informáticos, EUI UPM

Carretera de Valencia km 7, 28031 Madrid, emoreda@eui.upm.es

José Antonio Cerrada Somolinos Dpto. Lenguajes y Sistemas Informáticos, ETSII UNED

Ciudad Universitaria s/n, 28040 Madrid,

Vicente Feliu Batlle Dpto. Ingeniería Eléctrica, Electrónica y Automática, ETSII UCLM

Campus Universitario, Avda. Camilo José Cela s/n, 13071 Ciudad Real vfeliu@ind-cr.uclm.es

%'&)(+*-,.&0/ 132 4658794;:=<879>9?A@=BDCE584GFH<+4D5+4D2H79:I@=2I58J 58794DKL:IMN4<84O?ACP2HCQ?OJ KLJ94D2R7SCTMQ4UCQVSWN4O7SCP5YXPZ[VQ:P58:NMQC\462\]0J 5+JS^P24D5+7S46<84OC=58?O^_F-JS?O:=`bac2CNVdW)4A79Ce584LJSMN4D2H79J fNJ9?A:bghBiCN?A:=BDJ j8:k4624D5+?A462H:l:'F-:=<+7SJ <mMQ4n@P2H:�])J 5879:�Fo:P<8?OJS:PBp<84O?AC=2N587 <8@NJSMN:7 <8J9MQJ KL4D2Q5+JSCP2H:PBSKL462H794qKL4OMQJ9:=2R7S4r@=2 ?OC=2_W)@=2R7SC MN4?AsPKL:=<+:=5t`u1vBv58J 58794DKL:�MQ4�]0J 5+JS^P2kKLw=BD7SJ FHBD4$MQ4O7S4O?A79:=<+sxBi:P5?A:P<8:N?A794D<8> 5879J9?A:=5 KLs=5 <84DBD4D]0:=2R7S465 yH@N4 5846<8sP24DKcF-:=<+4 W):QMQ:P54D2mBi:P5MQJ 5879J 2R7S:P5J KLs=zH462H465{?A:_F-7S@P<8:NMQ:=5|`}�CP5~CQVSWN4O7SCP5oF-C=BDJS�OM=<8J9?ACP5~462kBi:$BiJ9V=<+4D<8>9:kMN4�KLCQMN4DBDC=5�5+4<84�FH<+4D58462H79:=2 @Q79J BiJ j8:P2HMQC zN<8:df)C=5 ?OC=2 :Q7 <8J9VQ@Q79C=5|�FHBD:=2R7S4O:=2RMQC�46Bv<+4A?ACP2HCN?AJ KLJS462H79Ck?ACPKLCk@=2eFR<8CNV=BD4DKL:kMN4J 58C=KLCP< f)J 5|KLC�MQ4xzN<8:SfNCP5 g{58@QVPzQ<+:df)C=5t`�135+7S4xKL^NMQ@PBiC�MN4])J 58J9^=2n5+4�J 2R7S46zQ<+:n4D2l@=2�58J 58794DKL:�MN4h794DBD4ACiFo46<8:Q?OJS^P2'g794DBD49FH<+4D5+4D2H?OJS:xVQ:P58:NMQCx4D2x<84A:PBiJ9MQ:NM-]0J <+7S@N:=B9` �3�N�S�N���D�N�b���9�Q�N�

: Visión estereoscópica, detección de características, reconocimiento de objetos 3D, isomorfismo de grafos. � �+�����������'�����+����� El reconocimiento de objetos en una escena es el objetivo final en numerosos sistemas de visión. Es una etapa imprescindible para realizar tareas de desplazamiento con detección de colisiones, selección, montaje y ensamblado de objetos dentro de un entorno, tareas de inspección, etc. La plataforma de teleoperación (ver Figura 1) consta de un módulo de realidad virtual que reconstruye el entorno remoto con el que interactúa el robot. La información requerida para la construcción del mundo virtual se recibe de un sistema de visión que maneja el análisis de imágenes, la detección de características y el reconocimiento y localización de

objetos 3-D. De esta forma, el entorno del robot se valida con frecuencia y la información relativa a los identificadores del modelo y sus posiciones en el espacio se envía a través de Internet para actualizar el escenario virtual. El módulo de visión estereoscópica está formado por un Pentium con una tarjeta Genesis de Matrox para la adquisición y procesamiento de imágenes capturadas por cuatro cámaras CCD monocromas Grundig MK601 que convergen hacia un volumen de interés específico. El sistema de identificación y localización de objetos poliédricos a partir de imágenes puede ajustarse mediante la elección de lentes y la separación entre cámaras.

Figura 1 : Plataforma de teleoperación con módulo

de realidad virtual.

En la sección 2 se describe el sistema estereoscópico múltiple y las etapas de calibración de cámaras y estimación de la geometría epipolar. En la sección 3 se especifican las características relevantes que deben detectarse en el conjunto de imágenes. A partir de la información 2D se reconstruye tridimensionalmente la vista parcial del objeto en escena estableciendo correspondencias entre primitivas homólogas en

diversas imágenes. En la sección 4 se presenta el mecanismo de reconocimiento de objetos poliédricos a partir de una representación basada en grafos con atributos. Por último, en la sección 5 se exponen las conclusiones. � �'�8 ¡�8¢�£\¤� -¥L¤�¦�¤�§ -¨'¢©��+¨'ª�« La visión estereoscópica es una técnica simple, flexible y pasiva de recuperar información tridimensional de una escena a partir de un conjunto de imágenes 2D (ver Figura 2).

Figura 2: Sistema de visión estereoscópica. Entorno de trabajo del robot formado por poliedros.

Cuando la misma escena es capturada por distintas cámaras, los objetos aparecen desplazados en las imágenes una cierta cantidad. Esta disparidad o diferencia entre puntos homólogos en diferentes imágenes es inversamente proporcional a su distancia, o profundidad, respecto de una cámara de referencia. La visión estereoscópica consta de dos etapas: • Establecimiento de correspondencias: empareja

en las diferentes imágenes aquellos puntos 2D procedentes de un punto 3D común. Este problema de búsqueda es difícil de resolver.

• Reconstrucción: determina por triangulación la profundidad de los puntos del objeto en escena, recuperando la tercera dimensión perdida durante el proceso de adquisición de la imagen.

Con una separación entre cámaras pequeña, la distancia estimada será menos precisa debido a la triangulación. Sin embargo, cuando se incrementa la separación aumenta el rango de disparidades en que debemos buscar una correspondencia. Este compromiso entre la precisión y la facilidad de establecer correspondencias se mitiga utilizando múltiples cámaras o diferentes localizaciones de cámara. Este enfoque, denominado visión estéreo multi-baseline [9], presenta la ventaja de reducir los

falsos emparejamientos inducidos por ambigüedades en las correspondencias. Primero, se calibra el sistema de cámaras mediante la determinación off-line de los parámetros intrínsecos y extrínsecos. Se supone un modelo de cámara pinhole, donde la cámara viene descrita por su centro óptico ¬ y su plano imagen ­ situado a una distancia focal ® del centro óptico. El proceso incluye la captura de varias imágenes de un patrón plano de puntos impresos situado a diferentes profundidades con la ayuda del brazo robótico (ver Figura 3).

Figura 3: Plantilla de calibración en imágenes adquiridas por dos cámaras.

Se deriva la geometría epipolar que establece que dado un pixel en la imagen ¯ 1, su homólogo en I2 pertenece a la línea epipolar asociada, ° E2 (ver Figura 4). Debido a la configuración de las cámaras, la disparidad está restringida a un cierto intervalo [ ]±L²=³´±Lµ ¶´

, relacionado con el rango de

profundidades [ ]·�¸=¹º·�» ¼º, de los puntos 3D .

Figura 4 : Geometría epipolar asociada a un sistema

de visión binocular. Por razones computacionales, cuando los ejes de las cámaras no son paralelos puede aplicarse una operación de warping denominada rectificación que transforma los planos imagen. De esta forma, se manejan líneas epipolares paralelas e iguales (ver Figura 5), simplificándose la fase de establecimiento de correspondencias.

½E2

E1

¾=¿À=Á

c2c1

LE1

LE2

m2

m1

M

Figura 5 : Línea epipolar asociada a un punto.  Ã'ÄLÅLÄ�Æ�Æ'Ç8È�É Ã�Ä Ê�Ë�Ç+ÌYÇ+ÅLÇ+Í�Î'ÏÆ'Î�Ë�Î'Æ�Å�ÄLË�Ð+Ï-Å�Ç+Æ�Î�Ï ÄLÉ Ñ�ÎÇ+ÌYÎ�ÒÄLÉÔÓrË�Ä�Æ�Õ�É�Ï-Å�Ë�Ö�Æ'Æ�Ç+È�ÉÂuÃ'×

El principal inconveniente de la visión estereoscópica es el establecimiento de correspondencias entre imágenes de la escena, para recuperar la profundidad de los objetos 3-D. Se utiliza un emparejamiento jerárquico basado en características como vértices, líneas rectas y facetas (ver Figura 6). Se han implantado varios detectores de vértices para localizar puntos dominantes en las imágenes involucradas. Tabbone [15] propone calcular las uniones a partir del laplaciano del gaussiano LOG en dos escalas diferentes. Moktarian [8] detecta uniones basándose en la representación en el espacio-escala de curvatura. Al determinar atributos adicionales del vértice [11] (orientación, ángulo subtendido, contraste, etc.), será más eficiente y robusto el proceso de emparejamiento de vértices entre distintas imágenes.

Figura 6 : Detección de primitivas en la escena.

Para extraer contornos en las imágenes de intensidad, se utilizan detectores de bordes clásicos tipo Canny [2] o Sobel. Es necesario agrupar estos pixeles para formar líneas rectas. En un enfoque local, se rastrean los puntos de borde en una vecindad creando cadenas abiertas o cerradas que posteriormente son seccionadas mediante la aproximación poligonal de Pavlidis-Horowitz [10].

La transformada de Hough [5] y sus múltiples variantes permiten detectar, de manera global, formas simples – líneas rectas, círculos o elipses – en imágenes (ver Figura 7). Los puntos pertenecientes a bordes son mapeados en el espacio paramétrico (Ø , θ) (ec. recta: θθ Ù)Ú+Û ÜÝÞ += cos ) con la ayuda de un

array acumulador. Para extraer los picos correspondientes a líneas rectas se aplica alguna técnica de ßDàDá=â8ã9äDå+æ çNè . La transformada de Hough extendida utiliza información adicional sobre la dirección del borde para reducir el número de mapeos viables. Cuando la elección de la discretización de los parámetros resulta un problema, se emplea la transformada de Hough jerárquica que subdivide aquellas celdas que han recibido numerosos votos.

Figura 7: Transformada de Hough aplicada a la detección de líneas rectas en un objeto poliédrico capturado con una cámara.

Las transformadas de Hough aleatoria y probabilista son dos de los enfoques más recientes [5]. La transformada de Hough probabilista usa sólo un subconjunto de los puntos en imagen siendo su cálculo más rápido. El subconjunto debe ser suficientemente amplio como para que la precisión sea similar a la alcanzada con la transformada de Hough estándar. La transformada de Hough aleatoria elige al azar pares de puntos que deben satisfacer unos límites de distancia predefinidos y los mapea en una celda del espacio acumulador con estructura dinámica de árbol. Se han implantado las diferentes alternativas para extraer líneas rectas contrastando sus ventajas e inconvenientes. Los factores analizados son la eficiencia y los resultados erróneos derivados (líneas rectas no detectadas y falsas líneas rectas). El emparejamiento de los segmentos rectilíneos detectados en las imágenes estereoscópicas se basa en el método formalizado por Ayache [1]. El algoritmo consta de tres etapas: predicción, propagación y verificación de hipótesis. Se imponen una serie de restricciones derivadas de la geometría epipolar, el intervalo de disparidades permitidas, la compatibilidad en longitud y orientación de los segmentos, la unicidad y continuidad.

Imagen1 Imagen2

0 20 40 60 80 100 120 140 160

40

60

80

100

120

140

160

180

-500

50

X

Y

Z

También se ha integrado el prototipo de Chabbi [3] que construye facetas 2-D manejando una lista de líneas rectas 2-D y mapas de regiones a diferentes umbrales. Finalmente, se estiman puntos, líneas rectas y planos 3D, así como sus errores de localización, a partir de datos 2-D procedentes de múltiples cámaras. En este proceso se utilizan filtros de Kalman [1].

é êYë�ì�íLî�ï�ì'ë ðñ íLò�ë�ó�ë�ò�ô+êYô+íLó'õLë ì'íë�öL÷uí�õLë�øúùuì�û

El reconocimiento de objetos basado en modelos consiste en, dada una librería de objetos conocidos a priori y un objeto desconocido, identificarlo o declararlo como nuevo objeto. Se desarrolla un mecanismo de reconocimiento rápido y robusto encargado de la identificación de objetos poliédricos 3-D a partir de vistas parciales reconstruidas tridimensionalmente de la escena. El proceso de reconocimiento basado en modelo implica los pasos siguientes: 1) detección de características y agrupamiento perceptivo; 2) indexación para seleccionar un modelo probable dentro de la librería; 3) correspondencia para encontrar la mejor pareja entre las características de los modelos escena y candidato, y 4) verificación de las hipótesis generadas. La representación de los objetos es una cuestión clave cuando se trata de reconocer objetos en grandes librerías de modelos. El modelo elegido debe ser robusto frente a errores que puedan ocurrir en los niveles bajo e intermedio del análisis de imágenes. Además, debe permitir la indexación para discriminar mejor durante la generación de hipótesis. Suponemos un dominio de objetos poliédrico representados mediante grafos con atributos, algunos de los cuales se muestran en la Figura 8.

Figura 8 : Librería de modelos poliédricos.

Un objeto poliédrico es aquel formado por una serie de polígonos de manera que en una arista sólo confluyen dos polígonos y es posible recorrer la superficie del poliedro cruzando sus aristas y moviéndose de una cara poligonal a otra hasta atravesar todos los polígonos por este camino continuo. Un poliedro simple es aquel que puede deformarse continuadamente a una esfera. Un poliedro es convexo si se encuentra a un lado de cada una de sus caras poligonales. Un grafo ü = ( ý , þ ) se define como un conjunto de nodos o vértices ÿ y un conjunto de aristas o arcos � . La matriz de adyacencia, ��� × � que representa a un grafo con � nodos tiene por entradas:

î ∈

= ����� ��� �������������������� ��

0

),(1

Tanto los nodos como las aristas pueden llevar unos pesos asociados. La información del modelo se almacena en un grafo [12] cuyos nodos son las caras del objeto poliédrico y cuyos arcos son las conexiones entre ellas (ver Figura 9). Dos nodos están unidos en el grafo si las caras que representan son adyacentes.

Figura 9: Representación de un poliedro mediante

un grafo.(a) Poliedro con sus caras planas; (b) grafo; (c) matriz de adyacencia.

F� F�

F� F� F�

F� F� F F! F"

F#

F$

0011116

0011115

1101014

1110103

1101012

1110101

654321

%%%%%%

%%%%%%

(a)

(c)

(b)

Esta representación de fronteras permite utilizar atributos geométricos y topológicos. Algunos atributos que pueden emplearse formando un vector son la forma de la superficie, su área, el centroide, la normal, el ángulo diedro formado por superficies planas adyacentes, etc. También es posible añadir a los nodos información relativa al color y textura. La identificación y localización de los objetos que aparecen en una escena puede plantearse como un problema de encontrar un isomorfismo entre grafos o subgrafos. Sean dos grafos ),( &'(

= y )’,’(’ )*+= . Una

biyección ’: ,,-→ se denomina . /102304 56. /7230 de 8

a 9 ’ si y sólo si ’))(),((),( :;<=<:;= ∈⇔∈ , >?@ ∈∀ , . En todos los vértices de A se establece un mapeo uno a uno en los vértices de B ’ , preservándose así la adyacencia. Dos grafos isomorfos pueden estar representados por matrices diferentes, basta permutar el orden de los vértices (volver a etiquetar). Los grafos G1 y G2 con matrices de adyacencia M1 y M2 serán isomorfos si existe una matriz permutación C tal que DEEGFF

12 = .

Existen invariantes o propiedades que deben preservarse bajo un isomorfismo de grafos: número de nodos y aristas, espectro de la matriz de adyacencia, secuencia grados de los vértices, número de árboles de expansión, etc. Sin embargo, dos grafos pueden presentar los mismos valores para cualquiera de estos invariantes sin ser por ello isomorfos. De todos los algoritmos estudiados, el método clásico de etiquetado canónico, nauty [6] es el más rápido para establecer el isomorfismo entre dos grafos. Como se tiene únicamente una reconstrucción parcial del objeto en escena, para establecer isomorfismos entre grafos hay que trabajar con vistas y no con el poliedro completo. Para cada objeto en la librería de modelos se construye un conjunto de vistas correspondientes a un número fijo de puntos de vista. Para determinar estos puntos de vista existen diversas alternativas: • Suponiendo que la cámara se encuentra

suficientemente alejada del objeto, el espacio 3D de puntos de vista se reduce a la superficie de una esfera gausiana o esfera de visión. Los puntos de vista son seleccionados aleatoria o uniformemente. Un primer método consiste en construir un icosaedro y dividiendo sucesivamente según la resolución deseada. Cada vértice de un triángulo es proyectado sobre

la esfera, tomando los baricentros como puntos de vista (ver Figura 10a). Un segundo método secciona la esfera en capas y dependiendo del perímetro de cada círculo, se sitúan cierto número de puntos igualmente espaciados (ver Figura 10b).

• Se buscan los cambios significativos en la

apariencia del poliedro (eventos visuales) que forman las fronteras entre puntos de vista (aspectos). El espacio 3D de puntos de vista queda parcelado en celdas representadas en un grafo de aspectos [14].

Figura 10: Esfera de visión para puntos de vista. Horaud y Sossa [4] utilizan los coeficientes del segundo polinomio inmanente de la matriz laplaciana correspondiente al grafo con peso que representa al objeto. Los objetos poliédricos se representan en términos de las vistas características 2-D almacenadas como grafos con peso de las apariencias de las aristas. Sengupta y Boyer [13] seccionan la base de modelos usando el espectro o conjunto de autovalores de ciertas matrices de propiedades. Estas matrices representan el área, la visibilidad de facetas y los ángulos entre facetas para diferentes puntos de vista seleccionados a partir de una esfera de visión. Messmer [7] propone un árbol de decisión derivado a partir de todas las permutaciones posibles de las matrices de adyacencia pertenecientes a los grafos almacenados. Este árbol se utiliza en tiempo de ejecución, acelerando el proceso de emparejamiento de grafos. Si en lugar de utilizar diferentes vistas parciales de cada objeto en la librería de modelos, se almacena el grafo correspondiente al objeto completo, hay que recurrir al isomorfismo de subgrafos. El algoritmo clásico de Ullman [16], extensamente empleado en diversos campos, propone utilizar una búsqueda con vuelta-atrás y chequeo con adelanto. Como los grafos con atributos no serán perfectos debido al ruido o a distorsiones ocasionadas en las

(a) (b)

fases previas de segmentación, el isomorfismo de subgrafos debe ser tolerante a errores. Es necesario incorporar un modelo de error basado en operaciones de edición de grafos con funciones de coste asignadas [7].

H IKJMLKION3PKQSR1JMLKT3QSU

En este artículo se muestra un sistema de reconocimiento de objetos poliédricos 3D basado en visión estereoscópica múltiple. Este módulo forma parte de un sistema de teleoperación y telepresencia desarrollado para trabajar con un robot industrial y que se apoya en realidad virtual. Se han analizado las distintas alternativas al extraer primitivas relevantes del conjunto de imágenes captadas por las cámaras. Estas características 2D se emparejan entre diversas imágenes para reconstruir una vista parcial tridimensional de la escena. Por último, cada objeto es representado mediante un grafo con atributos que se almacena en una librería de modelos. Se analiza la alternativa de guardar diferentes vistas parciales de cada objeto procedentes de puntos de vista distintos. De esta forma, el reconocimiento de objetos se plantea como un problema de isomorfismo entre grafos y subgrafos.

VXW�YZW\[]W�^`_�acb6d

[1] Ayache, N., (1991) “Artificial Vision for

Mobile Robots: Stereo Vision and Multisensory Perception” , MIT Press.

[2] Canny, J.F., (1986) “A computational approach

to edge detection” , egfhfGfji1k1lmon1lop�qcr�sm6nts�mu loq�qcv]k7mxwym�lz {\n1r n|l�m~}x��lop]�~r m~v�eZm~q�v�z�z�r �~v]m~p�v , 8(4): pp. 679-698.

[3] Chabbi, H., (1993) “Construction de facettes 3D

par stéréovision intégrant des principes de géométrie projective” , PhD thesis, Institud National Polytechnique de Lorraine, INRIA.

[4] Horaud, R., Sossa, H., (1995) “Polyhedral

object recognition by indexing” , �y�6�c�������� ������o���c������ , 28(12): pp. 1855-1870. [5] Kälviäinen, H., Hirvonen, P., Xu, L, Oja, E.,

(1994) “Comparisons of probabilistic and non-probabilistic Hough transforms” , �h���6������������y� 1¡Z¢¤£�¥¦ §¤¡�¦Z¨ � ¡¦ §¤¡©ª¢S�o«�£�  ¬®­ ¯�­�¡¦

, Stockholm, pp. 351-360.

[6] McKay B.D., (1981) “Practical graph

isomorphism”, °¤±�²o³o´1µ�¶�¶�·¶¹¸º·»3µ�´1¼²�½c¾�·» , 30 pp. 45-87.

[7] Messmer, B.T., (1996) “Efficient graph

matching algorithms for preprocessed model graphs” , PhD thesis, Institute of Computer Science and Applied Mathematics, Bern.

[8] Mokhtarian F., Suomela R., (1998) “Robust

Image Corner Detection Through Curvature Scale Space” , ¿gÀhÀGÀÂÁ1Ã1ÄÅ6Æ�ÄoÇ�ÈcÉ�ÊÅ6ÆËÊÅÍÌ®ÎyÏп , 20(12): pp.1376-1381.

[9] Okutomi, M., Kanade, T., (1993) “A Multiple-

Baseline stereo” , ÑZÒhÒhÒÔÓ1Õ�Ö�×oØ1ÖoÙ�Ú�Û�Ü×oØÝÜ×KÞ®ßyàÐÑ , 15(4): pp. 353-63.

[10] Pavlidis, T., Horowitz, S.L., (1974)

“Segmentation of plane curves” , ágâhâGâã�ä�åæ6ç�å6è�é�êcë�æoçXëæÝì¤ëíªî¤ï6écð]ä7ç, C-23: pp. 860-870.

[11] Rosin, P.L., (1999) “Measuring corner

properties” , ñ¤òóªôSõoö�÷�ø ù®ú û�ú�òü ýü~þ ÿZó3ý � ÷� ü�þo÷]ø7û�ö�ýü�þoú ü ��� 73(2): pp. 291-307. [12] Schreiber, I., Ben-Bassat, M.,(1996) “FEG

structures for representation and recognition of 3-D polyhedral objects” , ����� ������������������������������������� "!����� �$#%� &'������( 18(3): pp. 211-232.

[13] Sengupta, K., Boyer, K.L., (1998) “Modelbase

partitioning using property matrix spectra” , )�*�+",�-�.�/ 02143 563�*�798�7�:<;=+>8�?�/A@"7:�/ 0�56.�8�7:�3 7�?�B

70(2): pp. 177-196. [14] Shimshoni, I., Ponce, J., (1997) “Finite

resolution aspect graphs of polyhedral objects” , C=DEDEDGFIH6J�K�L6J�MON�P�Q�K�LRQ�KTS4U�VWC=X 19(4): pp. 315-

327. [15] Tabbone, S., (1994) “Détection multi-échelle de

contours subpixel et de jounctions” , Thèse de doctorat, Institut National Polytechnique de Lorraine.

[16] Ullman, J.R., (1976) “An algorithm for subgraph

isomorphism”, Y�Z�[�\^]�_�`aZcbed f�gih�j�k , 23 (1), pp. 31-42.