Comparación de técnicas de detección de cambios de plano sobre vídeo comprido aplicadas al...
-
Upload
jose-ramon-cerquides-bueno -
Category
Documents
-
view
524 -
download
3
Transcript of Comparación de técnicas de detección de cambios de plano sobre vídeo comprido aplicadas al...
“COMPARACIÓN DE TÉCNICAS DE DETECCIÓN DE CAMBIOS DE PLANO
SOBRE VÍDEO COMPRIMIDO APLICADAS A ANUNCIOS DE TV”
Autora: Ana Torrent ContrerasDirector: José Ramón Cerquides Bueno
UNIVERSIDAD DE SEVILLA
Escuela Superior de Ingenieros
Departamento de Teoría de la Señal y Comunicaciones
2
1.- INTRODUCCIÓN
2.- COMPRESIÓN DE VÍDEO
3.- TÉCNICAS DE DETECCIÓN
4.- RESULTADOS
5.- CONCLUSIONES
ÍNDICE
3
1.- INTRODUCCIÓN
Contratos publicitarios millonarios
Detección de anuncios en TV
Detección de cambios de plano
4
Técnicas sobre vídeo comprimido
Decodificación mínima
Tratamiento de menor volumen de
datos
+
Rapidez procesamiento
Sin pérdida de eficacia
5
Digitalización de la señal de vídeo
Muestreo temporal
Muestreo espacial
.
2.- COMPRESIÓN DE VÍDEO
6
Representación muestra espacio-temporal:
Píxel BkbGkgRkrY YBCb
YRCr
Espacio de color RGB
Formato de muestreo 4:2:0
Espacio de color YCrCb
Más eficiente: reduce a la mitad la
información a transmitir
YCr
YCr
Y
Y
7
• Es el proceso de compactar o condensar una
secuencia digital de video en un número pequeño
de bits.
• Se consigue eliminando los datos no necesarios
para una reproducción fiel del vídeo.
• Normalmente es con pérdidas: se consiguen
niveles de compresión mayores a costa de cierta
pérdida de calidad del vídeo.
Compresión de vídeo
8
Transformada Cuantización ReordenaciónCodificador de entropía
Señal de vídeo
Compensación de movimiento
Estimación de movimiento
Cuantización inversaTransformada inversa
Reducción redundancia espacial
Buffer
Reducción redundancia temporal
Proceso de compresión
Reducción redundancia estadística
9
Redundancia temporal Clasificación de los cuadros: I (intra) o P (predicted).
Cuadros P: estimación y compensación de movimiento:
• División en macrobloques de 16x16 píxeles
• Búsqueda de cada macrobloque en un área de búsqueda del cuadro de referencia
Vector de movimiento
“best-match”
MB en cuadro anterior Macrobloque
Área de búsqueda
10
Codificación en modo intra (sin compensación de movimiento): no hay región que cumpla el criterio.
Codificación en modo inter (con compensación de movimiento): se encuentra una región que se convierte en la predicción.
Información a transmitir:
• Residuo:
• Vector de movimiento: componentes x e y
Redundancia temporal
-=
Macrobloque Predicción
11
Redundancia espacial
Transformada DCT: NxN muestras NxN coeficientes con menor correlación.
• Coeficiente DC posición (0,0): valor medio
• Coeficientes AC
Cuantización Reordenación en zig-zag: Codificación Run-Level-Last:
Coeficientes: 64, 8, 0, 1, 0, 3(0,64,0), (0,8,0), (1,1,0), (1,3,1)
12
Codificación de entropía
Codificación predictiva: predicción de vector de movimiento y coeficientes DC y AC
• Cálculo diferencia valores y predicciones
• El resultado se codifica y transmite
Codificación con códigos de longitud variable
• Códigos precalculados de longitud variable
• A palabras más frecuentes se les asignan
códigos más cortos Más compresión
13
3.- DETECCIÓN DE CAMBIOS DE PLANO Datos de la secuencia de vídeo: obtención de vectores de movimiento y coeficientes DC
Reconstrucción vectores de movimiento
Reconstrucción coeficientes DC
Construcción imagen DC: luminancia, croma azul y croma roja
Cuadro original Imagen DC luminancia
14
Método 1: Histogramas de color
Se utilizan las diferencias de histograma de color
entre cuadros Histograma de color: representa las frecuencias de
los niveles de energía del cuadro
-10 -5 0 5 100
100
200
300
-10 -5 0 5 100
100
200
300
-10 -5 0 5 100
100
200
300
Cuadro 1 Cuadro 2 Cuadro 3
Cambio de plano
N
i
inhinhnnhist
d
1
][1][)1,(
Diferencia de histogramas
Condición para la detección: diferencia máxima en una ventana de 15 cuadros y superación de umbral
0 100 200 300 400 5000
0.2
0.4
0.6
0.8
1
Numero de cuadro
Dis
tanc
ia h
isto
gram
a de
col
or
Distancia Cambios reales Cambios detectados
15
Método 2: Imágenes DC
Evalúa las diferencias entre las imágenes DC
• Ser el máximo en la ventana.• Superar el doble del valor medio de la
distancia en la ventana.• Superar en un 20% el valor el segundo
máximo de la ventana.
Condiciones para la detección
0 100 200 300 400 5000
0.2
0.4
0.6
0.8
1
Numero de cuadro
Dife
renc
ia im
ágen
es D
C
Distancia Cambios reales Cambios detectados
16
Método 3: TWAM
Utiliza una combinación de las 3 diferencias normalizadas de histogramas: luminancia y cromas azul y roja.
M
t
nn
i
i ththT
nD
1
1 )()(1
)(
CrCbYi
i nDnD
,,
)(3
1)(
La distancia actual se sustituye por la media de la distancia en una ventana:
1
0
)(1
)),((
L
j
jnDL
LnDF
17
Método 3: TWAM
La nueva distancia se multiplica por un factor: el cociente entre las distancias medias de dos ventanas diferentes a cada lado
12
02
112
1
11
0
21
)(1
)(
)(
)),(()),(()(
L
j
L
Lj
L
j
TWAM
jnDL
jnD
jnD
LnDFLnDAnD
De esta manera se amplifican las diferencias 0 50 100 150 200 250 300 350 400 450 500
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Número de cuadro
Dis
tanc
ia s
in p
roce
sar
0 50 100 150 200 250 300 350 400 450 5000
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Numero de cuadro
Dife
renc
ias
met
odo
TW
AM
Distancia Cambios reales Cambios detectados
18
Método 4: Tipos de cuadro
Diferencia por tipos de cuadro:
• Cuadros I: suma de las diferencias de histogramas normalizadas. Diferencia con el cuadro anterior tipo I
Hist
i
YYY ifHifHHist
Sum
0
21 ),(),(1 2
1 )( CrCbYf SumSumSumSum
0 100 200 300 400 5000
0.2
0.4
0.6
0.8
1
Cuadro
Dis
tanc
ia c
uadr
os I
• Cuadros P: cociente entre números de macrobloques de cada tipo
InterMB
IntraMBR p
0 100 200 300 400 500 6000
0.5
1
1.5
2
2.5
3
3.5
Cuadro
RP
19
Método 5: Característica de secuencia
Utiliza dos características de los planos:
12 iiix
K
j
iii jhjhT
x
1
11 )()(2
1
T
iii xxx ],[ 21
21 iii xxd
Se construye un vector con los dos valores:
La distancia utilizada para la detección es la norma del vector
0 100 200 300 400 5000
0.2
0.4
0.6
0.8
1
Numero de cuadro
Dife
renc
ias
de c
arac
terí
stic
a ge
nera
l
Distancia Cambios reales Cambios detectados
20
Método 6: LBDF
21
21
21
))(()(
),(NTNT
bHWbH
HHLBDF b
ybHWbHNT
b
xxx ))(()(
w
wiHiHW )())((
Utiliza una función diferencia basada en la luminancia
donde
Mide el parecido con una correlación normalizada de los histogramas de luminancia.
• H1, H2, histogramas
• b es una frecuencia del histograma
• W: ventana centrada en i
0 100 200 300 400 5000
0.2
0.4
0.6
0.8
1
Numero de cuadro
LBD
F
Distancia Cambios reales Cambios detectados
21
Método 7: Distancia χ2
1
0
2
2
2
22
))()((
))()((
))()((
))()((N
ib
Cr
ia
Cr
i
b
Cr
ia
Cr
i
b
Cb
ia
Cb
i
b
Cb
ia
Cb
i
fHfH
fHfH
fHfH
fHfH
Se utiliza la medida χ2 con los dos histogramas de color:
Condición para la detección:
diferencia entre cuadro actual y anteriores
diferencias entre el resto de cuadros en una ventana
>>0 100 200 300 400 500
0
0.2
0.4
0.6
0.8
1
Numero de cuadro
Dis
tancia
chi cuadra
do
Distancia Cambios reales Cambios detectados
22
4.- RESULTADOS
Los bondad de los resultados se mide con dos parámetros:
FAC
C
NN
Nprecisión
MDC
C
NN
Nrecall
NC: número de cambios correctos; NFA: número de falsas alarmas
NMD: número de cambios no detectados
Número de cambios correctos detectados=
Número total de cambios detectados
Número de cambios correctos detectados=
Número total de cambios reales
23
Método Precisión Recall
Histogramas color 89,32 85,19
Imágenes DC 76,67 63,89
TWAM 85,96 90,74
Tipos VOP 91,18 86,11
Característica 86,09 91,67
LBDF 82,88 85,19
Análisis Χ2 78,50 77,78
Tabla resultados
24
Comparación de resultados
65
70
75
80
85
90
95
Precisión
Precisión
0102030405060708090
100
Histogramas color
Imágenes DC
TWAM
Tipos VOP
Característica
LBDF
Análisis X2
Recall
Recall
0
1020
30
4050
6070
80
90100
Histogramas color
Imágenes DC
TWAM
Tipos VOP
Característica
LBDF
Análisis X2
Precisión
Recall
25
Estabilidad de los algoritmos
Pruebas de robustez:
• Adición de ruido AWGN a las imágenes DC: se
añade ruido de varias potencias a las imágenes
DC y al parámetro RP usados en la detección de
cambios de plano.
• Cambio del parámetro de codificación bitrate o
tasa de bits.
26
Cambios frente al ruidoPrecisión frente al ruido
50
55
60
65
70
75
80
85
90
95
5 10 15 20 25 30 35 40 45 50 55 60
SNR (dB)
Pre
cisi
ón (
%)
Característica Histograma color Imágenes DC LBDF Tipos VOP TWAM Χ2
27
Cambios frente al ruidoRecall frente al ruido
50
55
60
65
70
75
80
85
90
95
5 10 15 20 25 30 35 40 45 50 55 60
SNR (dB)
Re
call
(%)
Característica Histograma color Imágenes DC LBDF Tipos VOP TWAM Χ2
28
Cambios frente a tasa de bitsPrecisión frente a BR
65
70
75
80
85
90
95
100
150 286 420 572 700 900 1000
Bitrate (kbps)
Pre
cisi
ón
(%
)
Característica Histograma color Imágenes DC LBDF Tipos VOP TWAM Χ2
29
Cambios frente a tasa de bitsRecall frente a BR
50
55
60
65
70
75
80
85
90
95
150 286 420 572 700 900 1000
Bitrate (kbps)
Re
call
(%)
Característica Histograma color Imágenes DC LBDF Tipos VOP TWAM Χ2
30
5.- CONCLUSIONES
La detección de cambios de plano sobre vídeo
comprimido funciona muy bien. Técnicas sencillas, rápidas y efectivas. La técnica que utiliza histogramas de color es la mejor
en resultados y estabilidad frente a cambios. Todas las técnicas probadas tienen problemas con las
falsas alarmas (movimientos de cámara, cambios de luz).
Futuras líneas de investigación: creación algoritmos más
sofisticados capaces de identificar estos efectos.