Basi di Dati

G. Mecca – mecca@unibas.it – Università della BasilicataG. Mecca – mecca@unibas.it – Università della Basilicata

Basi di Dati

Progettazione Fisica e “Tuning”:Concetti Avanzati

versione 2.0

Questo lavoro è concesso in uso secondo i termini di una licenza Creative Commons (vedi ultima pagina)

2G. Mecca - mecca@unibas.it - Basi di DatiG. Mecca - mecca@unibas.it - Basi di Dati

Concetti Avanzati Introduzione Ottimizzazione delle Interrogazioni

Un Esempio Messa a Punto (“Tuning”)

Carico ApplicativoStrutture di AccessoModifiche allo Schema LogicoParametri Architetturali

Progettazione Fisica e Tuning >> Sommario

Introduzione Processo di Progettazione della BD

“progettazione logica”: dallo schema concettuale viene derivato: uno schema logico standardgli schemi esterni necessari

“progettazione fisica”: a partire dallo schema logico viene derivato:uno schema fisico (strutture di accesso)uno schema logico ottimizzato

Progettazione Fisica e Tuning >> Concetti Avanzati >> Introduzione

Introduzione Progettazione Logica

l’obiettivo è fare in modo che la base di dati sia normalizzata (priva di anomalie)

algoritmo sistematico Progettazione Fisica

l’obiettivo è fare in modo che la operazioni sulla base di dati siano efficienti

problema poco sistematizzabile

Progettazione Fisica L’obiettivo sono le prestazioni

si interviene su parametri che le influenzano Parametri che influenzano le prestazioni

organizzazione dei file e strutture di accessoschema logicooperazioni (query e transazioni)parametri dell’architettura (buffer, dischi ecc.)

Questi aspetti sono difficili da progettare

Messa a Punto (“Tuning”) Tipicamente

si comincia con lo schema standardle strutture di accesso standardsi accumula informazione sul funzionamento

e si valutano le prestazionisulla base dei dati raccolti si procede alla

messa a punto dei parametriè un’attività condotta periodicamente

Messa a Punto (“Tuning”) In questa lezione

panoramica sulla progettazione fisica e il tuning

discuteremo le principali classi di parametridescriveremo delle linee guidanon c’è la pretesa di essere esaustivi

Punto di partenzavalutazione e ottimizzazione delle

interrogazioni in un DBMS relazionale

Ottimizzazione delle Interrogazioni Processo di valutazione di una query

la query viene inviata al DBMS interattivamente o da un’applicazione

il DBMS effettua l’analisi sintattica del codice SQL

il DBMS effettua le verifiche sulle autorizzazioni di accesso

il DBMS esegue il processo di ottimizzazione della query

Progettazione Fisica e Tuning >> Concetti Avanzati >> Ottimizzazione

Ottimizzazione delle Interrogazioni Processo di ottimizzazione

scelta di una strategia efficiente per la valutazione della query

Piano di esecuzione di una queryscelta dell’ordine di applicazione degli

operatori algebrici necessaristrategia di calcolo del risultato di ciascun

operatore algebrico attraverso le strutture di accesso disponibili

Ottimizzazione delle Interrogazioni Per effettuare l’ottimizzazione

vengono valutati molti diversi piani di esecuzione alternativi

l’ottimizzatore dispone di statistiche sul contenuto della base di dati (dimensione delle tabelle, dimensione dei record, dimensione degli indici, selettività ecc.)

sulla base delle statistiche viene stimato il costo di ciascun piano di esecuzione (numero di accessi ai blocchi su disco)

Un Esempio Consideriamo la base di dati universitaria

CREATE TABLE Studente ( matricola integer PRIMARY KEY, cognome varchar(20) NOT NULL, nome varchar(20) NOT NULL, ciclo char(20), anno integer, relatore char(4) REFERENCES Docente(codice) );

CREATE TABLE Docente ( codice char(4) PRIMARY KEY, cognome varchar(20) NOT NULL, nome varchar(20) NOT NULL, qualifica char(15), facolta char(10) );

Un Esempio Studiamo la seguente interrogazione:

“Nomi e cognomi dei tesisti di Christian Vieri iscritti alla laurea specialistica”

SELECT Studente.nome, Studente.cognomeFROM Docente, StudenteWHERE Docente.codice=Studente.relatore AND Studente.ciclo = ‘laurea sp.’ AND Docente.cognome = ‘Vieri’;

Un Esempio Forma standard

SELECT S.nome, S.cognomeFROM Docente AS D, Studente AS SWHERE D.codice=S.relatore AND S.ciclo = ‘laurea sp.’ AND D.cognome = ‘Vieri’; S D

S.nome, S.cognome

D.codice=S.relatore AND S.ciclo=‘laurea sp.’ AND D.cognome=‘Vieri’

S.nome, S.cognome D.codice=S.relatore AND S.ciclo=‘laurea sp.’ AND D.cognome=‘Vieri’

(S X D) )

Albero degli operatori della query

Un Esempio Non è l’unico possibile

S.nome, S.cognome

D.codice=S.relatore AND S.ciclo=‘laurea sp.’ AND D.cognome=‘Vieri’

Piano A S D

S.ciclo=‘laurea sp.’ AND D.cognome=‘Vieri’

S.nome, S.cognome

D.codice=S.relatore

Piano B

Un Esempio In generale un ottimizzatore dovrebbe

preferire il piano B al piano Ai prodotti cartesiani sono costosi

In altri casi peròl’albero degli operatori da solo non basta a

stabilire se una strategia è migliore di un’altraè necessario considerare le strutture di

accesso disponibili

Altri Piani di Esecuzione

S.ciclo= ‘laurea sp.’

S.nome, S.cognome

D.codice=S.relatore

Piano C

D.cognome =‘Vieri’

S.ciclo=‘laurea sp.’

S.nome, S.cognome

D.codice=S.relatore

Piano D

Un Esempio In generale

il piano C è migliore di A e di Bin alcune condizioni il piano D è migliore di C

Dipende dalla strategia utilizzata per valutare gli operatoriin particolare dall’organizzazione dei filee dalle strutture di accesso (indici)

Esecuzione di un Operatore Algebrico Tre tecniche principali Scansione lineare del file

inefficiente, applicabile solo a file piccoli Accesso attraverso indici

assume la presenza di indici (aggiornamenti) Raggruppamento temporaneo

creazione di strutture aggiuntive per raggruppare le ennuple (es: ordinamenti, tabelle di hash in memoria centrale)

Esecuzione di una Selezione con Ug. File non ordinato, nessun indice rilevante

scansione lineare del file File ordinato per l’attributo, nessun indice

ricerca binaria nel file (ennuple cons.) Indice B+-tree sull’attributo

ricerca nell’indice Indice di Hash sull’attributo

accesso diretto con la funzione di hashing

Esecuzione di un Join Strategia elementare

cicli nidificatiabbastanza inefficiente

Esempio: S JOIN D ON S.codice=D.rel.per ogni ennupla di S

per ogni ennupla di D– se S.codice=D.relatore allora produci una

ennupla del risultato

Esecuzione di un Join Cicli nidificati con indice

sfrutto un indice su uno degli attributi di join Esempio: S JOIN D ON S.relatore=D.cod

supponiamo di avere un indice su D.codiceper ogni ennupla di S

per ogni ennupla di D tale che D.cod=S.relatore– produci una ennupla del risultato

accesso basato sull’indice

Esecuzione di un Join “Sort-Merge” Join

idea: se entrambe le tabelle sono ordinate sull’attributo di join, il join è lineare

Strategiacreo una copia ordinata delle tabellegenero il risultato per scansione lineareparticolarmente efficiente se una delle

tabelle è già ordinata

Esecuzione di un Join Hash Join

idea: hash sull’attributo di join per entrambe le tabelle

Strategiacostruisco in memoria centrale una tabella di

hash per entrambe le tabelle sull’attr. di joinscandisco una tabella e per ciascun valore

uso la funzione di hash per localizzare i bucket di ennuple corrispondenti

Piano C Supponiamo che:

non ci siano indici rilevanti

Selezioniscansione lineare

Joinsort-merge

Piano completo

S.nome, S.cognome

D.codice=S.relatore

Piano C

Piano D Supponiamo che:

indice di hash sul nome docente

indice di hash sul relatore

Selezionehash

Joincicli con indice

S.nome, S.cognome

D.codice=S.relatore

Piano D

Piano D Completo

Calcolata usando l’indicedi hash (non ènecessaria la materializzazione)

Ciclo nidificato con indice(uso l’indice secondariosu S.relatore)

Calcolata al volosul risultato del Join

S.nome, S.cognome

D.codice=S.relatore

Piano D

Piano C, Altra Ipotesi Supponiamo che:

indice di hash sul nome docente

indice secondario sul ciclo dello studente

Non molti benefici rispetto a Dil numero di valori di

ciclo è bassobassa selettività

dell’indice

S.nome, S.cognome

D.codice=S.relatore

Piano C

Ottimizzazione Tutti i DBMS di fascia alta consentono di

consultare i piani di esecuzione scelti Comando EXPLAIN

sintassi tipica: EXPLAIN <select>illustra il piano di esecuzione e fornisce la

stima di costo da parte dell’ottimizzatoreutilizzabile sia con PgSQL che con MySQL

Messa a Punto (“Tuning”) Scenario tipico

dopo una fase iniziale, la base di dati viene sottoposta a valutazione delle prestazioni

le prestazioni sono inadeguateè necessario intervenire per migliorare le

prestazioni mettendo a punto i parametri Punto di partenza

carico applicativo

Progettazione Fisica e Tuning >> Concetti Avanzati >> Tuning

Carico Applicativo (“Workload”) La messa a punto non è possibile per

tutte le possibili interrogazioni Si considerano le operazioni più frequenti

e rilevanti Carico applicativo

lista di interrogazionilista di aggiornamentiprestazioni attese per ciascuna (es: <2s,

oppure numero di transazioni al minuto)

Attività del Tuning Scelta delle strutture di accesso

organizzazione dei file, indici, clustering Interventi sulle operazioni

riscritture, livelli di isolamento Interventi sullo schema logico

partizionamenti, aggregazioni, denormalizzazioni Interventi sui parametri architetturali

buffer, dischi, RAM

Strutture di Accesso Principale forma di intervento

aggiunta di indici Attenzione

gli indici migliorano le prestazioni ma rallentano gli aggiornamentirichiedono spazio su discoè necessario un compromesso

Strutture di Accesso Il caso estremo: base di dati di sola lettura Esempio (Shasha, “Database Tuning”)

il sistema informativo di Ellis Islandarchivio degli immigrati in USA tra l’800 e i

primi del 900 (milioni di ennuple)ricerche per cognome, nome e anno di arrivo

E’ possibile utilizzare molti indicicognome, nome, anno, cognome e anno,

cognome e nome

Strutture di Accesso Linea guida n.1

è opportuno introdurre un indice solo se contribuisce a migliorare le prestazioni di più di una interrogazione del carico applicativo

Attenzione: non sempre l’ottim. riesce ad usare un indicees: select * from Impiegato

where stipendioAnnuo/12>3000verificare il piano di esecuzione prima e dopo

gli attributi su cui intervenire sono quelli che compaiono in join e selezioni

per condizioni di uguaglianza (es: stipendio=5000) sono da preferirsi indici hash

per condizioni su intervalli (es: stipendio>5000 and stipendio <10000) sono da preferirsi B+-tree

è opportuno introdurre un indice solo se il numero di valori dell’attributo è sufficientemente alto

Esempio:select * from impiegati

where stipendio = 10000l’indice su stipendio potrebbe non servire se

sono molti ad avere uno stipendio uguale

attenzione ai colli di bottiglia Esempio n.1:

relazione disordinata con inserimenti frequenti

l’ultimo blocco è un collo di bottiglia Esempio n.2:

modifiche allo schema (lock in scrittura sul catalogo)

Interventi sulle Operazioni Due forme

riscrittura delle operazioniscelta del livello di isolamento per le trans.

Esempio:select * from Impiegato

where stipendioAnnuo/12>3000select * from Impiegato

where stipendioAnnuo>3000*12

Interventi sulle Operazioni Altre forme di riscrittura

limitare l’uso di nidificazione (difficilmente ottimizzabile)

Livello di isolamentoil livello standard è SERIALIZABLEin molti casi READ COMMITTED è adeguatoin generale, è opportuno separare

interrogazioni interattive e aggiornamenti

Modifiche allo Schema Logico Non è detto che lo schema normalizzato

sia il più efficiente Quattro forme di intervento principali

partizionamenti di tabelleaggregazioni di tabelledenormalizzazione di tabelleaggiunta di informazione ridondante

Modifiche allo Schema Logico Attenzione

modificare lo schema logico impedisce alle applicazioni di lavorare correttamente

Due possibili soluzionile modifiche allo schema logico vanno

decise molto presto (subito dopo la progettazione logica)

oppure, se è possibile, si crea uno schema esterno uguale al vecchio schema logico

Modifiche allo Schema Logico Partizionamenti di tabelle

tabelle con molti attributi possono essere spezzate in due

Esempio: la tabella “Studente”chiave primaria (matricola)attributi anagrafici (nome, cognome, codice

fiscale, indirizzo, reddito del padre ecc.)attributi accademici (ciclo, anno di corso,

relatore, tirocinio, tutor ecc.)

Modifiche allo Schema Logico Posso dividere la tabella in due tabelle

DatiAnagraficiStudente: matricola e tutti gli attributi anagrafici

DatiUniversitariStudente: matricola e tutti gli attributi universitari

Conviene sele operazioni richiedono di accedere

raramente a tutti i datiin questo caso è necessario un join

Modifiche allo Schema Logico Attenzione

questo è un esempio di ristrutturazione dello schema che deve essere effettuato molto presto

le viste non servonodefinire la vista “Studente” corrispondente al

join delle tabelle partizionate non darebbe nessun beneficio in termini di prestazioni

Modifiche allo Schema Logico Aggregazioni di tabelle

può essere utile per evitare join Esempio: Studente e Tirocinio

chiave esterna “matricola” di tirociniose l’accesso ai dati del tirocinio è frequente,

conviene riunirli in un’unica tabellasi evitano i joinaumentano i valori nulliposso definire due viste per pres. lo schema

Modifiche allo Schema Logico Denormalizzazioni di tabelle

la normalizzazione evita le anomalie ma spesso costringe a fare troppi join

Esempio: Docente e NumeriNumeri(numero, docente FK)se devo frequentemente stampare l’elenco di

nomi e numeri posso aggiungendo il nome del docente alla tabella Numeri

aumenta la complessità degli aggiornamenti

Modifiche allo Schema Logico In questo caso

si generano (modeste) anomalie di aggiornamento

esempio: ogni volta che cambio il cognome di un docente devo intervenire tanto su Docente che su Numeri

per evitare di creare istanze inconsistenti della base di dati è necessario utilizzare transazioni

Modifiche allo Schema Logico Aggiunta di informazione ridondante

in alcuni casi può evitare interrogazioni complesse

Esempio: numero di esami sostenuti derivabile per aggregazione dal join di

studenti ed esamipuò essere memorizzato esplicitamente

come attributo di Studentecostringe ad utilizzare le transazioni

Parametri Architetturali Buffer

aumentare il buffer aumenta l’”hit ratio”non è opportuno andare oltre un certo limite

Dischidisporre i file su più dischi aumenta le

prestazionies: disco per il log (il log è un tipico collo di

bottiglia)

Concetti Avanzati Introduzione Ottimizzazione delle Interrogazioni

Un Esempio Messa a Punto (“Tuning”)

Carico ApplicativoStrutture di AccessoModifiche allo Schema LogicoParametri Architetturali

Progettazione Fisica e Tuning >> Sommario

Termini della Licenza

This work is licensed under the Creative Commons Attribution-ShareAlike License. To view a copy of this license, visit http://creativecommons.org/licenses/by-sa/1.0/ or send a letter to Creative Commons, 559 Nathan Abbott Way, Stanford, California 94305, USA.

Questo lavoro viene concesso in uso secondo i termini della licenza “Attribution-ShareAlike” di Creative Commons. Per ottenere una copia della licenza, è possibile visitare http://creativecommons.org/licenses/by-sa/1.0/ oppure inviare una lettera all’indirizzo Creative Commons, 559 Nathan Abbott Way, Stanford, California 94305, USA.

Basi di Dati

Documents

Transcript of Basi di Dati

Basi di Dati: Introduzione - asaba.altervista.orgasaba.altervista.org/wp-content/uploads/2017/10/lezioni.pdf · Classificazione Basi di Dati Le basi di dati si classificano in base

Slide corso Basi Di Dati - Di Tomassi · Basi di dati Ing. Gianluca Di Tomassi Sito Web: Basi di dati Universitàdegli Studi Roma Tre -Gianluca Di Tomassi 2 Sommario Basi di dati

Basi di Dati - I - math.unipd.itbaldan/BD/Slide/1.Sistemi.pdf · 1. Sistemi per basi di dati Corso di Basi di Dati Organizzazioni e informazione LÕattenzione sar sulle basi di dati

Basi di Dati Relazionali Laboratorio - dia.apice.unibo.itdia.apice.unibo.it/download/labs/01-database-lab.pdf · Laboratorio Basi di Dati Relazionali Basi di Dati Relazionali ...

DATABASE. Sistemi di gestione di basi di dati (DBMS) I database (basi di dati) sono degli insiemi organizzati di dati. Un sistema di gestione delle basi.

Laboratorio Basi di Dati e Web - Unibg Basi di Dati-1.pdf · Basi di dati •Una base di dati consiste in una raccolta strutturata di informazioni •All’interno di una base di

6-Basi di dati distribuite - unina.stidue.netunina.stidue.net/Basi di Dati 2/Materiale/Libri,Appunti,Slides... · 1 Basi di dati II 6 – BASI DI DATI DISTRIBUITE 2 Paradigmi per

Basi di dati - Dipartimento di Matematica e Informaticausers.dimi.uniud.it/.../bioinformatica-triennale/Basi-di-Dati.pdf · Basi di dati Alberto Policriti Dipartimento di Matematica

BASI DI DATI BIOLOGICHE - 2. Basi di Dati Biologiche Tipi principali di Basi di Dati Biologiche: Di sequenze : NCBI. Di annotazioni: Ensembl.Specifiche:Transfac.

Basi di dati - fisica.campusnet.unito.it · Maurizio Lenzerini Basi di Dati Progettazione concettuale - 3 Inquadramento del progetto di basi di dati • Il progetto di basi di dati

Architetture Distribuite per Basi di Datiangelo.montanari/bdDistri.pdf · Basi di Dati • Introduzione • Architettura client-server (richiami) • Basi di dati distribuite •

Basi di Dati - B1 - La progettazione delle basi di dati

Corso di Basi di Dati

1 Basi di dati multimediali. 2 Basi di dati Multimediali Introduzione.

Introduzione ai sistemi di basi di dati Corso di Basi di ...angelo.montanari/introduzione.pdf · Base di dati: collezione di dati ... sistema di basi di dati), che risiede sulla macchina

14 Archivi e Basi di dati V2 - corsi.dei.polimi.itcorsi.dei.polimi.it/infoA/14_Archivi_e_Basi_di_dati_V2.pdf · Archivi e Basi di Dati Informatica A – V. Perrone Basi di dati •

Sistemi Informativi Territoriali - Home di homes.di.unimi.ithomes.di.unimi.it/~mdamiani/corsi/sit1314/_presentazionedelcorso13... · Basi di dati Basi di dati ... BASI DI DATI : MODELLI

Sistema informativo Basi di dati – Dati e procedure ... · Basi di dati Note Introduttive Basi di dati • Sistema informativo – Dati e procedure/servizi – Esempi: servizi demografici,

BASI DI DATI BIOLOGICHE - 3. Principali Basi di Dati Biologiche Alcune delle principali Basi di Dati Biologiche: Di sequenze: NCBI. Di proteine: Protein.

Introduzione ai sistemi di basi di dati - Uniudusers.dimi.uniud.it/~angelo.montanari/introduzione.pdf · Introduzione ai sistemi di basi di dati Corso di Basi di dati e laboratorio