Sumarização Automática de Textos Científicos: Estudo de Caso com ...
Sumarização de vídeo Edward Cayllahua [email protected].
Transcript of Sumarização de vídeo Edward Cayllahua [email protected].
![Page 2: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/2.jpg)
ÍndiceÍndiceo Introduçãoo Objetivoo Modeloso Análise De Complexidadeo Resultadoso Conclusões
![Page 3: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/3.jpg)
IntroduçãoIntrodução
o Sumarização de vídeo é o processo de extração de um resumo do conteúdo original do vídeo.
o O objetivo é fornecer rapidamente a informação do conteúdo do vídeo, preservando a mensagem do vídeo original
![Page 4: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/4.jpg)
IntroduçãoIntrodução
o Por que é necessário resumir vídeos?
• Dia a dia um monte de informação é produzida na televisão, internet, etc.
• O vídeo é um dos mais utilizados hoje.
![Page 5: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/5.jpg)
IntroduçãoIntrodução
o Por que é necessário resumir vídeos?
• A quantidade de vídeos cresce exponencialmente.
• uma pessoa não pode processar todos os vídeos
• é necessário desenvolver um modelo que sintetiza um vídeo
![Page 6: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/6.jpg)
IntroduçãoIntrodução
o Tipos de resumos:
• Estáticos: Extração de um conjunto de quadros-chave do vídeo original.
• Dinâmicos: Extração de um conjunto de clips do vídeo original.
o Os clips são elementos que podem conter informações de som e movimento
![Page 7: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/7.jpg)
ObjetivoObjetivo
• Desenvolver um método para sumarização de vídeo estático baseado em características espaço-temporais
![Page 8: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/8.jpg)
ModelosModelos
o Um vídeo: é uma seqüência de frames consecutivos.
o Frame: uma única imagem em um filme.
o keyframe : Um único frame que pode representar outros frames no mesmo vídeo.
![Page 9: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/9.jpg)
ModelosModeloso A Video Summarization Approach based on Machine
Learning
• Detecta principais características, tais como valores de pixel, bordas e histogramas.
• Machine Learning é usado como um sistema para prever transições de vídeo
• Se o valor exceder um limite, então um keyframe é detectado
• Um vídeo é construído usando o keyframes
![Page 10: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/10.jpg)
ModelosModeloso An Improved Sub-optimal Video Summarization
Algorithm
• O usuário define o tamanho final do resumo ( T ).
• Depois, o método calcula as distorções dos frames
• Se a distorção é grande e não chegamos a T, o quadro é adicionado ao resumo de vídeo.
• O processo é rápido, mas não suficientemente robusto.
![Page 11: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/11.jpg)
ModelosModelosoVideo Summarization from Spatio-
Temporal Features
• Detectamos as características espaço-temporal do vídeo usando a matriz hessiana.
• Estas características são usadas para calcular o nível de atividade do frame
• Se este nível é muito alto, então podemos sinalizar este frame como um keyframe.
• Um vídeo é construído usando o keyframes
![Page 12: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/12.jpg)
![Page 13: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/13.jpg)
ModelosModelosVideo Summarization from Spatio-Temporal Features• Cada frame pode ser considerado como
uma imagem • O frame pode ser representado como:
• Onde representa a informação espacial.• Representa a informação temporal
![Page 14: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/14.jpg)
ModelosModelos
oVideo Summarization from Spatio-Temporal Features• Hessian Matrix
![Page 15: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/15.jpg)
ModelosModelos
oVideo Summarization from Spatio-Temporal Features• Máscaras usadas:
![Page 16: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/16.jpg)
ModelosModelosVideo Summarization from Spatio-Temporal Features• Nível de atividade de um quadro
o é um valor fixo.o Se contecer, marcamos o pixel. oOs pixels marcados são contadas eo valor total é o nível de atividade do frame
![Page 17: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/17.jpg)
ModelosModelosVideo Summarization from Spatio-Temporal Features• Nível de atividade de um filme
![Page 18: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/18.jpg)
ModelosModelosVideo Summarization from Spatio-Temporal Features• keyframes são identificados com
o máximo local
![Page 19: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/19.jpg)
ModelosModelosVideo Summarization from Spatio-Temporal Features.
![Page 20: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/20.jpg)
Análise De Análise De ComplexidadeComplexidade
oUm vídeo contém frames.oCada Frame contém pixelsoPor cada Frame, 24 operações locais são realizadas
![Page 21: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/21.jpg)
ResultadosResultados
![Page 22: Sumarização de vídeo Edward Cayllahua Ecayllahua1@gmail.com.](https://reader036.fdocuments.net/reader036/viewer/2022062623/552fc10b497959413d8c2026/html5/thumbnails/22.jpg)
ConclusõesConclusões
o A parte mais importante na sumarização de vídeo é dar um modelo sólido para extrair os keyframes.
o Subjetividade, algo que pode ser importante para uma pessoa, pode não ser importante para outra.
o Esta área de pesquisa ainda é muito jovem. Não há um banco de dados standard para os testes