1 Basi di dati multimediali. 2 Basi di dati Multimediali Introduzione.

Click here to load reader

  • date post

    01-May-2015
  • Category

    Documents

  • view

    223
  • download

    3

Embed Size (px)

Transcript of 1 Basi di dati multimediali. 2 Basi di dati Multimediali Introduzione.

  • Slide 1
  • 1 Basi di dati multimediali
  • Slide 2
  • 2 Basi di dati Multimediali Introduzione
  • Slide 3
  • 3 zNuove applicazioni richiedono la rappresentazione e la gestione di dati non tradizionali: ytesti arbitrari yimmagini yaudio yvideo ydati tradizionali (relazionali, orientati ad oggetti)
  • Slide 4
  • 4 Basi di dati multimediali zUn sistema di gestione dati multimediali (MMDBMS) permette la rappresentazione e la gestione di diversi tipi di dati, potenzialmente rappresentati secondo diversi formati zUn MMDBMS deve permettere di: yrappresentare dati corrispondenti a diverse tipologie di media yinterrogare dati rappresentati in formati diversi in modo uniforme yinterrogare dati in formati diversi simultaneamente nel contesto della stessa query yrecuperare gli oggetti dal supporto su cui risiedono, compatibilmente con il tipo di media che rappresentano
  • Slide 5
  • 5 Un esempio per capire zSi consideri uninvestigazione della polizia nel contesto di unoperazione anti-droga zquesta investigazione pu generare diverse tipologie di dati: yvideo, ottenuti da telecamere di sorveglianza poste in varie locazioni yaudio, relativi ad intercettazioni telefoniche yimmagini, corrispondenti a fotografie fatte dagli investigatori ydocumenti, relativi ai rapporti stilati dalla polizia ydati relazionali tradizionali, relativi ad informazioni di background sulle persone sospette
  • Slide 6
  • 6 Query sulle immagini zQuery 1 yil poliziotto John ha davanti a se una fotografia yvuole trovare lidentit della persona nella foto yQuery: ritrova tutte le immagini nelle quali appare la persona che compare nella mia foto zQuery 2: yil poliziotto John vuole esaminare le immagini di Denis Dopeman yQuery: ritrova tutte le immagini in cui compare Denis Dopeman
  • Slide 7
  • 7 Problematiche zDue tipi di query: yquery image-based yquery keyword-based znella query 1, il poliziotto, fornisce unimmagine in imput e vuole come output uninsieme di immagini, possibilmente ordinate rispetto al loro grado di similarit con limmagine nella foto yproblemi xche cosa vuol dire similarit xche cosa vuol dire ordinare xcome si pu supportare la ricerca znella query 2 il poliziotto fornisce una keyword come input (il nome, Denis Dopeman) e vuole come output le fotografie che contengono unimmagine di Denis Dopeman yproblemi xnecessit di associare attributi ad immagini xcome si pu supportare questa ricerca
  • Slide 8
  • 8 Query sui documenti audio zQuery 1: yil poliziotto John sta ascoltando il nastro relativo ad una intercettazione telefonica, contenente una conversazione tra le persone A e B yQuery: determinare lidentit di B, sapendo che A Denis Dopeman zQuery 2: yil poliziotto John vuole riascoltare tutti i dialoghi a cui ha partecipato Denis Dopeman, in un certo periodo di tempo yQuery: ritrova tutti i documenti audio in cui partecipa Denis Dopeman xsi associano attributi agli audio oppure si riconosce la voce di Denis Dopeman
  • Slide 9
  • 9 Query sui documenti testuali zQuery 1: yil poliziotto John sta analizzando un archivio di documenti testuali, che contengono vecchie riviste, rapporti della polizia, etc. yQuery: ritrova tutti i documenti relativi alle transazioni finanziarie illegali che coinvolgono ABC Corp.
  • Slide 10
  • 10 Query sui documenti video zQuery 1: yil poliziotto John sta esaminando un video di sorveglianza, che contiene le immagini di un agguato fatto ad una certa persona. La faccia dellassaltatore non per chiara e quindi eventuali ricerche basate sulle immagini, per determinare lidentit dellassaltatore, non hanno dato buoni risultati y possibile che la vittima conoscesse lassaltatore yQuery: trova tutti i segmenti di video in cui compare la vittima dellagguato
  • Slide 11
  • 11 Query eterogenee zGli esempi precedenti si riferiscono a query che coinvolgono un singolo tipo di media (solo audio, solo testo, solo immagini, solo video) zquery pi complesse possono coinvolgere diversi tipi di media zQuery 1: ydetermina gli individui che sono stati visti insieme a Jose Orojuelo e che sono stati condannati per tentato omicidio in Nord America e che hanno recentemente ricevuto bonifici bancari dalla ABC Corp zper risolvere la query necessario: ydeterminare condannati per tentato omicidio in Nord America e che hanno recentemente ricevuto bonifici bancari dalla ABC Corp xquery testuale su documenti, anche eterogenei yquery su immagini per fotografie yquery su video
  • Slide 12
  • 12 MMDBMS: aspetti da considerare zRappresentazione yi dati sono tipicamente non strutturati ysi vuole analizzare il contenuto ycome possibile rappresentare il contenuto di un documento multimediale? xCome si fa a capire che unimmagine contiene una certa persona zQuery yun linguaggio di query per MMDBMS deve avere caratteristiche particolari yquery processing deve analizzare il contenuto degli oggetti
  • Slide 13
  • 13 MMDBMS: aspetti da considerare zMemorizzazione: yquali supporti utilizzare? (dischi, CD-ROM, nastri) yche operazioni supportare: xnon solo lettura/scrittura ma anche (video/audio) playback rewind fast foward pause zIndici: ycome indicizzare gli oggetti multimediali? zAnalizzeremo solo i primi due aspetti
  • Slide 14
  • 14 Rappresentazione zUn oggetto multimediale in genere pu essere composto da diversi sotto-oggetti, ciascuno relativo ad un particolare media zle relazioni tra oggetti e sotto-oggetti pu essere modellata utilizzando un approccio orientato ad oggetti o relazionale ad oggetti zrimane il problema di come rappresentare il contenuto di un oggetto corrispondente ad un singolo media zci occuperemo di questo aspetto
  • Slide 15
  • 15 Rappresentazione zG li oggetti sono non strutturati zdal punto di vista del DBMS son o possibili due tipi di rappresentazione yriferimento esterno: xil DB contiene riferimento ai file che contengono i dati multimediali xquesti file non vengono gestiti dal DBMS yrappresentazione interna: xi dati multimediali vengono memorizzati nel DBMS in campi di tipo particolare, come BLOB (binary large object) o CLOB (character large object) xil DBMS gestisce questi dati, dal punto di vista dellaccesso, ripristino e autorizzazione Oggetto multimediale riferimento LOB DBMS Oggetto multimediale
  • Slide 16
  • 16 Rappresentazione zIn genere, non esiste una modalit standard per la rappresentazione di dati multimediali zEsempio: yOracle supporta i seguenti tipi xLOB, CLOB, BLOB: oggetti non strutturati fino ad 4 GB xRAW, LONG RAW: dati completamente non interpretati ySybase: xIMAGE xTEXT
  • Slide 17
  • 17 Rappresentazione zIn entrambi i casi gli oggetti sono completamente non strutturati zper poterli interrogare in modo ragionevole, necessario sovraimporre a ciascun oggetto una rappresentazione concettuale zla rappresentazione concettuale costituita da un insieme di dati strutturati che descrivono loggetto multimediale (surrogato) dal punto di vista: ydella struttura ydel contenuto semantico zogni oggetto dello stesso tipo sar descritto dallo stesso tipo di surrogato zil surrogato del documento non descrive pienamente il contenuto informativo del documento ma costituisce una sua sintesi zi surrogati rappresentano gli oggetti sui quali definire le tecniche di indice
  • Slide 18
  • 18 Rappresentazione zSpesso il surrogato si ottiene associando a ciascun oggetto un insieme di attributi zdue tipi di attributi: ydescrittivi xassociano informazioni descrittive (relazionali) a ciascun oggetto xvengono associati manualmente alloggetto ycontent-based (anche chiamati features) xassociano informazioni relative al contenuto xvengono estratti direttamente dal sistema zentrambi i tipi di attributi si possono interpretare come una sorta di metadati zi metadati associati ad un documento multimediale dipendono dal tipo di media considerato
  • Slide 19
  • 19 Esempio Attributi descrittivi nome: Villa Medici localit:Roma Features: forma:
  • Slide 20
  • 20 Rappresentazione Oggetti multimediali Features + attributi Generazione metadati (automatica + manuale) I sistemi mettono a disposizione funzionalit per estrarre feature e per utilizzare tali feature nel contesto delle interrogazioni
  • Slide 21
  • 21 Rappresentazione zConseguenza yi documenti multimediali potranno essere confrontati solo rispetto agli attributi e alle feature yfeature uguali non sempre si riferiscono ad oggetti uguali yEsempio si puo riferire sia ad una villa che ad unindustria
  • Slide 22
  • 22 Query zDue aspetti ydefinizione caratteristiche linguaggio di interrogazione yquery processing z necessario stabilire: yapproccio generale allesecuzione delle query yaspetti che devono essere supportati
  • Slide 23
  • 23 Idea di base query processing Oggetti multimediali Features + attributi Generazione metadati Meccanismo di interrogazione 1 2 3 La query viene eseguita sui metadati (attributi + features) dai metadati si risale ai documenti originali i documenti originali vengono restituiti allutente
  • Slide 24
  • 24 Aspetti da supportare Le query devono potere essere eseguite su diversi tipi di media contemporaneamente yaspetto gi considerato devono considerare attributi e features devono supportare query per similitudine devono associare un valore di rilevanza ad ogni oggetto restituito devono supportare query spazio-temporali devono poter essere pesate
  • Slide 25
  • 25 Attributi e feature zLe query interrogano gli oggetti multimediali considerando gli attributi e le feature ad essi associati zEsempio: ritrova tutte le immagini di abitazioni importanti in Liguria yassumo di avere estratto le forme dalle immagini yassumo di avere associato informazione descrittiva (luogo, tipo abitazione)
  • Slide 26
  • 26 Query per similitudine zPoich il contenuto degli oggetti viene espresso attraverso features e poich le feature non rappresentano pienamente il contenuto semantico di un oggetto, le condizioni di selezione sugli oggetti multimediali non sempre sono certe zci significa che le condizioni non sono in generale condizioni di uguaglianza ma di similitudine yle condizioni in genere sono verificate in una certa misura, data dalla similitudine tra ci che stiamo cercando e ci che abbiamo trovato zil linguaggio deve permettere di esprimere query di questo tipo zil query processing deve essere in grado di supportare tali tipi di query
  • Slide 27
  • 27 Query per similitudine zQuery: ydetermina tutte le immagini in cui appare una certa persona, presente in una specifica foto ydifficilmente verranno restituite tutte le immagini che contengono questa persona ymolto probabilmente verranno trovate anche immagini in cui compaiono persone che, per qualche motivo (dipende dalle feature considerate) assomigliano alla persona cercata
  • Slide 28
  • 28 Ranking zUna conseguenza della necessit di eseguire query per similitudine quello di decidere i criteri di rilevanza di un oggetto rispetto ad una interrogazione: ranking zIl ranking un ordinamento degli oggetti restituiti da una interrogazione che riflette il grado di rilevanza dei documenti rispetto allinterrogazione zI criteri per effettuare il ranking dipendono dal media considerato zEsempio: ritrova le 5 immagini in cui pi probabilmente appare una certa persona, presente in una specifica foto yin questo modo, si aumenta la certezza del risultato
  • Slide 29
  • 29 Query spazio-temporali zNecessit di interrogare relazioni spazio-temporali esistente tra gi oggetti zrelazioni spaziali: associano le feature associate ad un oggetto da un punto di vista spaziale yimportante per immagini, testo yEsempi: xin unimmagine, relaziono le forme che compaiono rispetto alla loro posizione (vicino, lontano, a destra, a sinistra) xin un testo, relaziono il contenuto (prima, dopo) zrelazioni temporali: associano le feature associate ad un oggetto da un punto di vista temporale yimportante per audio, video yEsempi: xsequenze audio/video: prima, dopo, subito prima, subito dopo, contemporaneamente
  • Slide 30
  • 30 Query spazio-temporali zQuery 1: ydetermina tutti i video in cui Denis Dopeman discute con una persona e poi la paga xvincolo temporale zQuery 2: ydetermina tutte le immagini in cui Denis Dopeman incontra una persona xlimmagine deve contenere due persone, ragionevolmente vicine xvincolo spaziale
  • Slide 31
  • 31 Query pesate zIn alcuni casi pu essere utile pesare le varie condizioni nel contesto di una query zquesto permette di associare un livello di importanza alla condizione nel determinare la similarit degli oggetti zEsempio: determina: ygli individui che sono stati visti insieme a Jose Orojuelo (1) ysono stati condannati per tentato omicidio in Nord America (0.8) yhanno recentemente ricevuto bonifici bancari dalla ABC Corp (0.5) zla similarit viene pesata
  • Slide 32
  • 32 Due approcci alla specifica delle query zSi definisce un linguaggio di query yad esempio, si estende SQL con condizioni specifiche da applicare ad oggetti multimediali ytipico DBMS estesi alla gestione di dati multimediali zquery by example: ysi fornisce un oggetto di esempio e si vogliono determinare tutti gli oggetti simili yesempio: si fornisce la fotografia del viso di una persona e si vogliono ritrovare tutti i visi simili ytipico di sistemi dedicati alla gestione di un solo tipo di media
  • Slide 33
  • 33 I sistemi zTutti i principali DBMS sono stati estesi in modo da supportare la gestione di informazione multimediale zesistono sistemi specifici ottimizzati rispetto alla gestione di particolari tipi di media yQBIC: immagini yQBE: query by example su immagini yMULTOS: testo yPICQUERY
  • Slide 34
  • 34 Nel seguito... zConsidereremo due media: ytesto yimmagini zper ciascuno illustreremo yrappresentazione del contenuto yquery in alcuni sistemi