PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana...
Transcript of PERCEPCIÓN IR / VISUALjdedios/asignaturas/Master_3.pdf · TH ROI vidrio Marco de ventana...
VISIÓN POR COMPUTADOR
PERCEPCIÓN IR / VISUAL
MASTER EN Automática, Robótica y Telemática
Dr. J. RAMIRO MARTINEZ DE DIOS
• Principios de percepción IR
• Aplicaciones
• Correspondencia de Visual / IR
• Fusión IR / Visual
Percepción IR/Visual
La banda del infrarrojo
Banda de λλλλ entre [0.75, 1000] µµµµm• Cercano: 0.75 -3 µµµµm
• Medio: 3 - 6 µµµµm
• Lejano: 6 - 15 µµµµm
• Extremo: 15 - 1000 µµµµm
Principios de Percepción IR
Radiación del cuerpo negro (I)
• Cuerpo negro: trampa de radiación• Ley de Planck: distribución espectral en λλλλ de radiación
emitida
– Wλλλλ radiación espectral– h: cte de Planck– T: Tª del cuerpo negro en Kelvin– C: velocidad de la luz– K: cte. De Boltzmann
Principios de Percepción IR
−
=
1
2
5
2
kT
ch
e
hcW
λ
λ
λ
π
Radiación del cuerpo negro (II)
• Ley de Wien: picos de radiación de un cuerpo negro
Permite relacionar Tª y color del objeto
Permite selección de banda de infrarrojos para cada aplicación
Principios de Percepción IR
T
2898max =λ
Radiación del cuerpo negro (y III)
• Ley de Stefan-Boltzmann: energía emitida por un cuerpo negro
– σ: cte. de Stefan-Boltzmann
Se emplea para calibración de Tª de cámaras termográficas
Principios de Percepción IR
4
0TdWW σλλ == ∫
∞
Radiación de cuerpos no negros
• Absorción espectral: α(λ)
• Reflectancia espectral: ρ(λ)
• Transmitancia espectral: τ(λ)
• Ley de Kirchhoff: α(λ)+ρ(λ)+τ(λ) =1
• Emisividad: ε(λ)=α(λ)
• Tipos de objetos:– Cuerpos negros: ε(λ)=1, ρ(λ)=τ(λ) =0
– Cuerpos grises: τ(λ) =0, (materiales opacos)
– Espejos perfectos: ε(λ)=0
Principios de Percepción IR
La transmisión atmosférica
Transmitancia atmosférica
• Tres ventanas del infrarrojo: 3 bandas
• Permite seleccionar banda: p.e. detección VS monitorización de incendios
Principios de Percepción IR
Detectores de infrarrojos
• Parámetros:– Sensibilidad: relaciona flujo de radiación con señal del sensor
Debe ser cte con la Tª y λ
– SNR: cociente entre potencia de señal y ruido
– NEP: potencia de ruido equivalente. Cota inferior de señal para ser diferenciada del ruido
– Detectividad: inversa de NEP
Principios de Percepción IR
Detectores de infrarrojos
• Tipos de detectores:
– Detectores térmicos:radiación se transforma en calor por absorción del material sensible
- Bolómetros: varía la conductividad del material,
- Detectores piroeléctricos: general corriente por incre. de Tª
- Termopilas: general tensión por efecto termodinámico
- Detectores neumáticos: la señal es una variación de presión en
la masa del gas al calentarse
– Detectores cuánticoscociente
Principios de Percepción IR
Detectores de infrarrojos
• Tipos de detectores:
– Detectores cuánticos: señal depende del nivel de excitación de partículas del material sensible
- Detectores fotoeléctricos: genera corriente por electrones
arrancados del material: IR cercano
- Detectores fotoconductores: genera cambio de conductividad por los electrones semilibres
- Detectores fotovoltaicos: modificación de V de barrera en unión p-n
Principios de Percepción IR
Comparación de Detectores
Principios de Percepción IR
Refrigeración
• Objetivo: evita la radiación de los detectores
• Tipos:– Refrigeración en ciclo abierto
– Refrigeración en ciclo cerrado
• Refrigeración mediante elementos de estado sólido– efecto termoeléctrico
Principios de Percepción IR
Ruido
– Ruido térmico: la Tª es superior a 0 K
– Ruido shot: fluctuaciones en la llegada de electrones
– Ruido flicker: 1/f
– Ruido de generación-recombinación
– Ruido fotónico
Principios de Percepción IR
Cámaras de Infrarrojos
– Puntuales: pirómetros
– Scanners de línea
– Cámaras de infrarrojos
• Tipos:– Térmicas: dan medida cuantitativa
– Termográficas: dan medida cualitativa de Tª�
calibración térmica
• Parámetros típicos:– NEI: iluminación equivalente al ruido
– NETD: dif. de Tª equivalente al ruido
– MDTD: dif. de Tª mínima detectable
Principios de Percepción IR
• Mitsubishi IRM300– Band 3-5 µm. (cryogenic - Stirling cycle cooler)
– Weight: 8 kg.
– Lenses: 30º
– Output: CCIR video
– Temperature estimation: NO
Principios de Percepción IR
• Raytheon 2000AS– Band 7-14 µm. (uncooled)– Weight: 120 gr.– Lenses: 30º– Output: CCIR video– Temperature estimation: NO
Principios de Percepción IR
• Indigo Omega– Band 7.5 - 13.5 µm. (uncooled)
– Weight: 120 gr.
– Lenses: 30º
– Output: CCIR video, IEEE 1394 (Firewire)
– Temperature estimation: YES
– Control through IEEE 1394 and RS-232
Principios de Percepción IR
• FLIR ThermaCam P20 – Band 7.5 - 13 µm. (uncooled)– Weight: 1.5 kg.– Lenses: 12º, 24º and 45º width– Output: CCIR video, JPG in Flash Card– Temperature estimation: YES (-40 – 1500 ºC)– Programmable image capture– Thermal sensitivity: 0.08º @ 30º C– High temperature filter– Control through RS-232– ThermaCam Reporter
Principios de Percepción IR
• FLIR 550 Elite– Band 3.6 - 5 µm. (cryogenic)– Weight: 2 kg.– Lenses: 10º and 20º width– Output: CCIR video, JPG in Flash Card– Temperature estimation: YES (-20 – 1500 ºC)– Programmable image capture– Thermal sensitivity: 0.1º @ 30º C– Control through RS-232– ThermaCam Reporter
Principios de Percepción IR
[-20, 1500] ºC
[-40, 1500] ºC
[0, 200] ºC
Not Thermal
Not Thermal
Range
10º, 20º
12º, 24º, 45º
30º
30º
30º
Lenses
0.1º @ 30ºC
0.1º @ 30ºC
2º @ 30ºC
Not Thermal
Not Thermal
Sensitivity
CCIR, JPG in
Flash Card
CCIR, JPG in
Flash Card
CCIR, Firewire
CCIR
CCIR
Interface
RS-2321.5 kg
7,5-13 µm
FLIR ThermaCam P20
RS-232
Firewire
120 gr.7,5-13,5 µm
Indigo Omega
RS-2322 kg3.5-5 µm
FLIR 550 Elite
RS-232120 gr.7-14 µmRaytheon 2000AS
RS-4858 kg.3-5 µmMitsubishi IRM300
ControlWeightBand
Principios de Percepción IR
Aplicaciones de la visión IR
• Seguridad
• Industria
• Medicina y veterinaria
• Medio Ambiente
Principios de Percepción IR
• Detección de fugas térmicas en edificios
• Detección y seguimiento de objetos
• Detección de incendios
• Monitorización de incendios
• Detección y Monitorización cooperativas con múltiples UAVs
Aplicaciones de Percepción IR
Reconocimiento de patrones
Detección de fugas térmicas en ventanas
Detección de fugas térmicas en edificios
- Estabilización de imágenes- Detección de fugas térmicas- Seguimiento
Detección de fugas térmicas
1) Conversión a temperatura
2) Selección de zonas de interésTemperatura mínima calculada a partir de Tª ambiente
3) Clasificación
4) Clustering
( ) ( ) ( )111 |ωω tpPth = ( ) ( ) ( ) ( ) ( )2211
2 ωωωω |tpP|tpPth +=
THROI
vidrio
Marco deventana
Detección de fugas térmicas en edificios
Experimentos. Diciembre 2005
Detección de fugas térmicas en edificios
• Objetivo: detección y seguimiento
• Dos fases:– Detección
– Seguimiento
• Control:– Posicionador
– Cámara de infrarrojos
Detección y seguimiento de objetos
• Posicionador: 2 GDL • Motores paso-a-paso
• Datos sensores: 200 ms.
• Control anticipativo de la cámara de infrarrojos– Horizonte T
• Control del posicionador
– Predicción polinómica: Horizonte 5T
imagen i imagen i+1
imagen i+1 predicha
Detección y seguimiento de objetos
Ejemplos (I)
Ejemplos (y II)
Detección de Incendios. Reducción de falsas alarmas
Tasa de Detección: 100%
Tasa de Falsa Alarmas: 1,93 %
90,0 % proc. infrarrojo85,4 % análisis de oscilación24,0 % proc. imagen visual
9,1 % información geográfica
Detección inteligente. Reducción de falsas alarmas
Fusión Sensorial
sensor1 sensorS
Detección de Incendios. Reducción de falsas alarmas
� Análisis de falsas alarmas- Reflejos, objetos calientes, luces, actividades humanas
� Información a integrar:- Análisis temporal de imágenes de infrarrojo- Análisis de imágenes visuales- Análisis del terreno: combustible, uso, pendiente- Análisis de actividades humanas- Índice de riesgo de incendio
� Sistema Borroso para integración de información
a)Extrem_Alt ES lidad(FF_posibi ENTONCES Alta)Muy ES _humana(actividad SI (1.0)
Alta) ES lidad(FF_posibi ENTONCES Alta) ES (pendiente SI (0.04)
Detección de Incendios. Reducción de falsas alarmas
• Interpretación:– Redes de Neuronas Clásicas (BNP) – Neuronas Wavelet no binarias
• 10 neuronas 120 iteraciones •ME = 9 13 iteraciones
– Neuronas Wavelet binarias• MME : ME=9 6 iteraciones (PD=100% PFA=0%)
• Al-Jaroudi : ME=9 6 iteraciones (PD=100% PFA=0%)
( )
∑ −−−==
N
1iiiMME T))T)(f(x(yu N
N
1E ∑=
=
N
1iiiJM ))f(x-y-ln(1
N
1E
Falsas alarmas Incendio
� Objetivo: medir automáticamente parámetros del incendio en tiempo real
� Fuentes de incertidumbre:- Percepción en exteriores - Específicos de percepción de incendios
� Sensores de magnitudes heterogéneas en múltiples localizaciones- Redundancia espacial - Redundancia de magnitudes
� Sensores:- cámaras visuales o de infrarrojos - GPS, medidor de distancias láser
Fusión sensorial para mejorar medidas
Monitorización de Incendios
Fusión sensorial para mejorar medidas
Vista frontalVista aérea
Vista lateral B
Vista lateral A
Fusión sensorial para mejorar medidas
� Percepción combinada: obtención indirecta de magnitudes
� Fusión sensorial: magnitudes obtenidas de varias fuentes
� Filtrado de Kalman
∑
∑
=
jjk
jjkjk
k
m
Mω
ω2jkjjk rF=ω
--0.670.71Lateral IR
--0.760.89Frontal IR
Altura de llamaAncho frentePosición frente
0.24
0.67
0.22
0.53
0.58Lateral Visual
0.51Frontal Visual
Fusión sensorial para mejorar medidas
Probado en tiempo real pruebas de campo cada desde 1998 hasta 2006
Puntos: evolución real
Líneas: evolución estimada
Fusión sensorial para mejorar medidas
� Detección y localización cooperativa� Monitorización cooperativa
Robots heterogéneos– Plataformas: varios UAVs o robots
terrestres– Sensores
Percepción Cooperativa en Entornos Multirrobot
Misión general:1) Vigilancia y detección 2) Confirmación 3) Monitorización
Percepción Cooperativa en Entornos Multirrobot
Vigilancia y detección– Área se divide dependiendo de
características de UAVs y sus sensores– Cada UAV recorre su área buscando
aplicando técnicas de detección
Demostración del sistema para la detección de fuegos– Sensores: cámara IR, cámara visual, sensor de fuego
Vigilancia y detección
Percepción Cooperativa en Entornos Multirrobot
560 570 580 590 600 610 620 630 640 650 6600
20
40
60
80
100
120
140
Confirmación
Percepción Cooperativa en Entornos Multirrobot
460 480 500 520 540 560 580 600 6200
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Pro
babi
lity
0.2821.5Desviación estándar estimada
200.044443961.4564628.9Posición estimada (fusión)
2004443961564627Posición real del fuego
AlturaLatitudLongitud
Monitorización y medición de fuegos
Percepción Cooperativa en Entornos Multirrobot
Extensión a robots aéreos y robots terrestres
Percepción Cooperativa en Entornos Multirrobot
Auriga. Univ. Málaga
Romeo 4R. GRVC. Univ. SevillaHero 3. GRVC. Univ. Sevilla
Correspondencia Visual/IR
• Problema:
� Paso 1 de 6: Selección de las imágenes
Imagen visual de referencia Imagen de infrarrojos a corregir
Sector representativo de imagen
(píxeles)
64x64
128x128
256x256
512x512
Resolución/Rango de detección
Correspondencia Visual/IR
� Paso 2 de 6: Detección de bordes para hallar la rotación
Suma cuadrática
del gradiente
bidireccional
Normalización
en el rango
[0,255]
Igualación de
histogramas
Imagen visual Imagen de infrarrojos
Correspondencia Visual/IR
� Paso 3 de 6: Cálculo de la DFT
Visual
IRElimina DC
Correspondencia Visual/IR
� Paso 4 de 6: Conversión a polar-semilogarítmica
Visual IR - Discretización logarítmica polar
- Interpolación bilineal
- Suavizado mediante un filtro de
la mediana con máscara 5x5
- Filtro sinosoidal y ventana de
Hanning
θ
log ρ
θ- Desplazamiento centro
de masas umbralizado
- SPOMF
log ρ
Correspondencia Visual/IR
Suma cuadrática
del gradiente
direccional
� Paso 5 de 6: Preprocesamiento en detección de traslación
0 255 255
255
127
255
255
255
191
191
Visual
Infrarrojos
Esquema de inversiones
de intensidad
Normalización
en el rango
[0,255]
Igualación de
histogramas
Detector debordes direccional
Correspondencia Visual/IR
� Paso 6 de 6: Cálculo SPOMF para hallar la traslación
Desplazamiento vertical
Desplazamiento horizontal
Superposición de imágenes
Parámetro de calidad: Comparación entre
picos máximos distantes para desestimar
detecciones incorrectas
Correspondencia Visual/IR
� Adquisición de imágenes
� Representación por pantalla
Estabilización conjunta Visual/IR
Estabilización conjunta Visual/IR
o Ejemplo de fusión de imágenes:
Imagen visual Imagen IR
Objetos calientes sobre imagen visual Suma de ambas imagenes
Fusión IR/Visual
Fusión IR/Visual
Fusión mediante
selección de umbralFusión con media
sobre la visual
Fusión con media de niveles sobre la de IR
Fusión con media ponderada sobre la de IR
PERCEPCIÓN AVANZADA
PERCEPCIÓN IR / VISUAL
MASTER EN Automática, Robótica y Telemática
Dr. J. RAMIRO MARTINEZ DE DIOS