Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

138
Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B

Transcript of Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Page 1: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010

A vs B

Page 2: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Valutazione economica: un solo principio fondamentaleA = trattamento innovativo

B = trattamento standard

Confronto clinico A vs B:

se A non è significativamente più efficace di B:

se A è significativamente più efficace di B:

CMA: Paghiamo A non più di quanto stiamo già pagando B

CEA: Paghiamo A più di B (accettando un incremento di spesa purchè proporzionato all’aumento di beneficio*)

*Quindi: il costo per QALY guadagnato per A vs B è stato calcolato ed è accettabile.

Page 3: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 4: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 5: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementareMonsummano Terme, 26 Settembre 2009

Esercitazione 

  Immaginare realisticamente……..   

Il nome di due farmaci candidati alla stessa

indicazione terapeutica (uno più nuovo e uno più

vecchio)

Un end-point verosimile per

misurare l’esito che sia dicotomico di

natura (oppure reso dicotomico sulla base di un valore limite o target)

Percentuale di soggetti che

soddisfano l’end-point (e P del

confronto A vs B)

Calcolare il rischio relativo

Calcolare ARR%oppureRRR%

Primo farmaco A

_____________……………%

Per A vs B Per A vs B ……………%

Secondo farmaco B

_____________……………%P = ………….

Per B vs A Per B vs A……………%

Page 6: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Le fasi della sperimentazione clinica

Maria Pia SormaniSezione di Biostatistica

Dip di Scienze della Salute (DISSAL)Università degli studi di Genova

Page 7: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Il processo di sviluppo di un nuovo farmaco

Page 8: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Le autorità regolatorie

Una parte essenziale del processo di sviluppo di un nuovo farmaco è il rispetto di una serie di regole necessarie all’immissione sul mercato del farmaco in ciascuno stato.

FDA: Food & Drug Administration,USA (1930)

EMEA: European Medicines Agency, Europa (1960)

Page 9: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

La ricerca pre-clinica

• Prima di poter sperimentare sugli esseri umani un nuovo farmaco è necessario dimostrare la safety (cioè la non tossicità e la tollerabilità) della molecola

• Questo si ottiene da esperimenti di laboratorio in vitro o su animali

Page 10: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

La ricerca pre-clinica

L’FDA richiede come minimo:• Un profilo farmacologico della sostanza• Lo studio della tossicità acuta del

farmaco in almeno due specie animali (un roditore e un non-roditore)

• Lo studio a breve termine (2-3 settimane) della tossicità del farmaco.

Page 11: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

La ricerca clinica

La ricerca di nuove molecole promettenti è un processo lungo e costoso

Una volta che una molecola ha dimostrato una sua attività e la safety in laboratorio può passare sull’uomo

La ricerca clinica è suddivisa in 4 fasi

Page 12: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Le fasi della ricerca clinica

• FASE I• FASE II• FASE III CLINICA

• FASE IV

Page 13: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Gli studi di fase I

Il farmaco viene dato per la prima volta agli esseri umani.

• Volontari sani• Pazienti con malattie simili in cui è

più semplice condurre la sperimentazione (es. per la SM, malattie autoimmuni)

• Pazienti della malattia in esame che non hanno altre scelte terapeutiche (es. per la SM, pazienti PP)

Page 14: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Gli studi di fase I

OBIETTIVILo scopo è stabilire:• Il metabolismo e il meccanismo di

azione del nuovo farmaco nell’uomo• La tossicità del farmaco • La dose massima tollerata (MTD)• Non servono a stabilire l’efficacia

Page 15: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Gli studi di fase II

OBIETTIVIStabilire l’attività del farmacoConfrontare le dosiAvere conferme sulla tollerabilità e

sulla tossicità.

Page 16: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Oncologia

Risposta obiettiva

Cardiologia

Ipertensione

HIV

Conte di CD4

SM

Lesioni RNM

ESEMPI DI ENDPOINT DI ATTIVITA’

Page 17: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Gli studi di fase II

DISEGNONota di Andrea Messori:In genere: studio di un unico gruppo.

Molto raramente: Confronto tra due gruppi (randomizzato) Numero di pazienti 20-100

per braccio (SM), Durata limitata (nella SM: 6-9 mesi)

Page 18: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Esempio: studio di fase II

Page 19: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Gli studi di fase III

OBIETTIVIStabilire l’efficacia del farmacoPermettere la registrazione del

farmaco per l’utilizzo in clinicaRaccogliere tutte le informazioni sulla

tossicità e gli effetti indesiderati

Page 20: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Gli studi di fase III

Paragonano un farmaco nuovo con il trattamento standard

Studiano nuovi dosaggi o combinazioni di farmaci standard

Page 21: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Gli studi di fase III

DISEGNOStudi controllati, randomizzati,

multicentriciNumero di pazienti 200-5000Durata di vari anni

Page 22: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Oncologia mortalità ricaduta

QdV

Cardiologia

mortalità

infarto

HIV disease

mortalità

AIDS

SM

ricadute disabilità

ENDPOINTS DI EFFICACIAENDPOINTS DI EFFICACIA

Page 23: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Gli studi di efficacia (sopravvivenza)

richiedono un gran numero di pazienti (centinaia-migliaia)

e lunghi periodi di osservazione

ENDPOINTS DI EFFICACIAENDPOINTS DI EFFICACIA

Page 24: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Esempio

Page 25: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Gli studi di fase IV

Vengono condotti una volta che è stata stabilita l’efficacia del farmaco e questo è stato registrato ed immesso sul mercato

Page 26: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Gli studi di fase IV

OBIETTIVIStudiare più accuratamente il profilo di

tossicità del farmacoValutarne gli effetti a lungo termineVerificare l’efficacia del farmaco nella

pratica clinica su larga scalaStudi di farmaco-economia

Page 27: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 28: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementareMonsummano Terme, 26 Settembre 2009

A vs B

RCT (randomized controlled trial)

Page 29: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

ARGOMENTI DA APPROFONDIRE

-RCT (perché R? perché C?)

-studio positivo e studio negativo (o nullo)

-end-point (o indicatore di esito)

-potenza statistica e dimensione minima della casistica di un RCT

-significatività statistica e rilevanza clinica

-perché il RR da solo non spiega a sufficienza il risultato

-metanalisi

-metanalisi della letteratura vs metanalisi dei dati dei singoli pazienti

Page 30: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

R.C.T. (Randomised Controlled Trial)R.C.T. (Randomised Controlled Trial)

Randomizzazione

trattamento

controllo

Arruolamento

100 pazienti (di cui 90 gravi e 10 molto gravi)

50 pazienti (di cui 45 gravi e 5 molto gravi)

50 pazienti (di cui 45 gravi e 5 molto gravi)

Page 31: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

R.C.T. (Randomised Controlled Trial)R.C.T. (Randomised Controlled Trial)

Randomizzazione

trattamento

controllo

Arruolamento

100 pazienti (di cui 90 gravi e 10 molto gravi)

50 pazienti (di cui 50 gravi e 0 molto gravi)

50 pazienti (di cui 40 gravi e 10 molto gravi)

Page 32: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementareMonsummano Terme, 26 Settembre 2009

Metodi per eseguire la randomizzazione:

-lancio della monetina

-tabelle dei numeri casuali

-buste chiuse pre-riempite

-call center

-sito Internet interattivo

Page 33: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementareMonsummano Terme, 26 Settembre 2009

Metodi per eseguire la randomizzazione:

-tabelle dei numeri casuali

7 5 2 5 6 5 9 4 8 7 2 2 6 3 9 corretto

7 5 2 5 6 5 9 4 8 7 2 2 6 3 9 scorretto

Page 34: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementareMonsummano Terme, 26 Settembre 2009

Metodi per eseguire la randomizzazione:

Metodo delle buste preriempite

Page 35: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

R.C.T. (Randomised Controlled Trial)R.C.T. (Randomised Controlled Trial)

Randomizzazione

trattamento

controllo

Arruolamento

Page 36: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

RCT = randomized controlled trial (confronto A vs B)

20.3 mesi con BVC vs. 15.6 mesi senza BVC

End point = sopravvivenza mediana (mesi)

Page 37: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

N Engl J Med. 2005 Oct 20;353(16):1673-84.

Trastuzumab plus adjuvant chemotherapy for operable HER2-positive breast cancer by Romond EH et al.

METHODS: The trial compared doxorubicin+cyclophosphamide+paclitaxel every 3 weeks (group B, N=1679) with the same regimen plus 52 weeks of trastuzumab (group A, N=1672).

RESULTS: Due end points (a 3 anni) = recidiva e mortalità

Recurrence rate at 3 years (AR) = 12.9% con trastuzumab vs 24.6% senza trastuzumab.

Mortality rate at 3 years (AR) = 5.7% con trastuzumab vs 8.3% senza trastuzuamb CONCLUSIONS: Trastuzumab combined with paclitaxel after doxorubicin and cyclophosphamide improves outcomes among women with surgically removed HER2-positive breast cancer.

Page 38: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

DISEGNO E ANALISI DEI DATI NEGLI STUDI CLINICI (solo RCT*): STATISTICA E METANALISI

• 1) La statistica degli RCT (RCT = randomized controlled trial):

confronta l’esito osservato con A verso l’esito osservato con B e valuta se la differenza nell’esito tra A e B è statisticamente significativa (p<0.05) oppure no (p>0.05)

--------------------------------------------------------------- *Non si parla della statistica epidemiologica-

osservazionale perché è difficile e non c’è tempo.

Page 39: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

RCT = randomized controlled trial (confronto A vs B)

20.3 vs. 15.6 mesi

Page 40: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

N Engl J Med. 2005 Oct 20;353(16):1673-84.

Trastuzumab plus adjuvant chemotherapy for operable HER2-positive breast cancer by Romond EH et al.

METHODS: The trial compared doxorubicin+cyclophosphamide+paclitaxel every 3 weeks (group B, N=1679) with the same regimen plus 52 weeks of trastuzumab (group B, N=1672).

RESULTS: Due end points (a 3 anni) = recidiva e mortalità

1) Recurrence rate at 3 years (AR) = 12.9% con trastuzumab vs 24.6% senza trastuzumab (P<0.001; SIGNIFICATIVA)

2) Mortality rate at 3 years (AR) = 5.7% con trastuzumab vs 8.3% senza trastuzuamb (P=0.015; SIGNIFICATIVA) CONCLUSIONS: Trastuzumab combined with paclitaxel after doxorubicin and cyclophosphamide improves outcomes among women with surgically removed HER2-positive breast cancer.

Page 41: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

La “ p “ (confronta il risultato con A vs il risultato con B, cioè 2

numeri)

Significatività statistica della differenza tra il risultato con A e il risultato con B: espressa

dalla “p”

Esprime la probabilità che Esprime la probabilità che un evento sia avvenuto per un evento sia avvenuto per caso.caso.

1) Se p>0.05: la differenza si considera “dovuta al caso”

2) Se p<0.05: la differenza si considera “reale”

Page 42: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementareMonsummano Terme, 26 Settembre 2009

VALUTAZIONE DELLA SIGNIFICATIVITA’ STATISTICA USANDO IL RISCHIO RELATIVO

(anziché la p)

Page 43: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

• RR=1.30 (IC95%: da 1.28 a 1.32): Signif.• RR=1.30 (IC95%: da 1.18 a 1.63): Signif.• RR=1.30 (IC95%: da 1.11 a 2.12): Signif.• RR=1.30 (IC95%: da 1.01 a 2.42): Signif.• RR=1.30 (IC95%: da 0.94 a 3.34): Non Signif.

• RR= 0.70 (IC95%: da 0.67 a 0.74): Signif.• RR= 0.70 (IC95%: da 0.58 a 0.85): Signif.• RR= 0.70 (IC95%: da 0.52 a 0.92): Signif.• RR= 0.70 (IC95%: da 0.49 a 0.99): Signif.• RR= 0.70 (IC95%: da 0.44 a 1.34): Non Signif.

Page 44: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

RISCHIO RELATIVO (RR) E

SUO INTERVALLO DI CONFIDENZA

AL 95% (IC95%):

============================================================

RR è un numero “centrale” accompagnato da un estremo inferiore e da un estremo superiore.

Es. RR di A vs B = 1.30 (IC95%: da 1.10 a 2.40)

oppure

RR di A vs B = 2.0 (IC95%: da 1.80 a 2.30)

Page 45: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

RISCHIO RELATIVO (RR) E SUO INTERVALLO DI CONFIDENZA AL 95% (IC95%): RR è un numero “centrale” accompagnato da un estremo inferiore e da un estremo superiore; es. RR di A vs B = 1.30 (IC95%: da 1.10 a 2.40) oppure es. RR di A vs B = 2.0 (IC95%: da 1.80 a 2.30)

Il risultato è significativo se il segmento orizzontate dell’IC95% NON attraversa la linea

verticale di identità

Page 46: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Significatività statistica dell’IC95%

Il risultato è significativo se il segmento orizzontate dell’IC95% NON attraversa la linea

verticale di identità

Page 47: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Dalla teoria alla pratica

SUGGERIMENTO OPERATIVO:

ricercare nel trial i valori di “RA% con Trattamento A“ e “RA% con Trattamento B“ e poi costruire l’intera analisi a partire da questi soli due numeri

Page 48: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

•DUE NUMERIDUE NUMERI: :

1) RA% con Trattamento A = rischio assoluto espresso come 1) RA% con Trattamento A = rischio assoluto espresso come frequenza percentuale dell’evento osservata nel gruppo che ha frequenza percentuale dell’evento osservata nel gruppo che ha ricevuto il Trattamento A ricevuto il Trattamento A

2) RA% con Trattamento B = rischio assoluto espresso come 2) RA% con Trattamento B = rischio assoluto espresso come frequenza percentuale dell’evento osservata nel gruppo che ha frequenza percentuale dell’evento osservata nel gruppo che ha ricevuto il Trattamento B ricevuto il Trattamento B

-Risultato dell’analisi: RR di A vs B = rischio relativo del verificarsi -Risultato dell’analisi: RR di A vs B = rischio relativo del verificarsi dell’evento dando A anziché B (es. la metà cioè 0.50)dell’evento dando A anziché B (es. la metà cioè 0.50)

OPPURE (è indifferente)OPPURE (è indifferente)

- - Risultato dell’analisi:Risultato dell’analisi: RR di B vs A = rischio relativo del verificarsi RR di B vs A = rischio relativo del verificarsi dell’evento dando B anziché A (es. il doppio cioè 2)dell’evento dando B anziché A (es. il doppio cioè 2)

Page 49: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

NOTA BENE:

• Il rischio relativo è numero puro (es. RR è il doppio con A rispetto che con B, quindi è uguale a 2).

• L’aumento del RR (es. ARR = +33%) e la diminuzione del RR (es. RRR = -20%) sono percentuali.

Page 50: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

DUE ANALISI ENTRAMBE LEGITTIME E CON “PARI DIGNITÀ”

Analisi 1: interpretazione = Analisi 2: interpretazione =

il rischio è minore con A vs B il rischio è maggiore con B vs A

Fase 1: cercare i due numeri

RA% con A = 4%

RA% con B = 8%

RA% con A = 4%

RA% con B = 8%

Fase 2: costruire il rapporto che esprime il rischio relativo

4%

RR di A vs B = ______ = 0.5

8%

8%

RR di B vs A = ______ = 2

4%

Fase 3: calcolare RRR Fase 3: calcolare ARR

Se RR = 0.50, intuitivamente

RRR = -50%

Se RR = 2, intuitivamente

ARR = +100%

Page 51: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

DUE ANALISI ENTRAMBE LEGITTIME E CON “PARI DIGNITÀ”

• Analisi 1: Interpretazione =

il rischio è minore con A vs B

Analisi 2: Interpretazione = il Analisi 2: Interpretazione = il rischio è maggiore con B vs rischio è maggiore con B vs A A

Fase 1) Cercare i due numeriFase 1) Cercare i due numeri

RA% con A = 4%RA% con B = 6%

RA% con A = 4% RA% con B = 6%

Fase 2) Costruire il rapporto che esprime il rischio relativo Fase 2) Costruire il rapporto che esprime il rischio relativo

4% …….= 0,67

6%

6%

……. = 1.50 4%

Fase 3) Calcolare RRRFase 3) Calcolare RRR Fase 3) Calcolare ARR Fase 3) Calcolare ARR

Se RR=0.67, intuitivamente RRR= -33%

Se RR=1.50, intuitivamente ARR= +50%

RR = RR =

Page 52: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

DUE ANALISI ENTRAMBE LEGITTIME E CON “PARI DIGNITÀ”

Analisi 1: interpretazione = Analisi 2: interpretazione =

il rischio è minore con A vs B il rischio è maggiore con B vs A

Fase 1: cercare i due numeri

RA% con A = 10%

RA% con B = 12%

RA% con A = 10%

RA% con B = 12%

Fase 2: costruire il rapporto che esprime il rischio relativo

10%

RR di A vs B = ______ = 0.83 12%

12%

RR di B vs A = ______ = 1.2

10%

Fase 3: calcolare RRR Fase 3: calcolare ARR

Se RR = 0.83, intuitivamente

RRR = -17%

Se RR = 1.2, intuitivamente

ARR = +20%

Page 53: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

RRR% di A vs BRRR% di A vs B = riduzione del rischio relativo (espressa come %) = riduzione del rischio relativo (espressa come %) dando A anziché B. dando A anziché B. Intuitivamente: Intuitivamente: se RR di A vs B = 0.70 allora RRR% di A vs B se RR di A vs B = 0.70 allora RRR% di A vs B è –è – 30%30% se RR di A vs B se RR di A vs B = 0.50 allora RRR% di A vs B= 0.50 allora RRR% di A vs B è –è – 50%50% se RR di A vs B se RR di A vs B = 0.90 allora RRR% di A vs B= 0.90 allora RRR% di A vs B è – 10%, etc.è – 10%, etc.

========================================================================================================

ARR% di B vs AARR% di B vs A = aumento del rischio relativo (espresso come %) = aumento del rischio relativo (espresso come %) dando B anziché A. dando B anziché A. Intuitivamente: Intuitivamente: se RR di B vs A = 1.30 allora ARR% di B vs A se RR di B vs A = 1.30 allora ARR% di B vs A è +30%è +30% se RR di B vs A se RR di B vs A = 1.10 allora ARR% di B vs A= 1.10 allora ARR% di B vs A è +10%è +10% se RR di B vs A se RR di B vs A = 2.10 allora ARR% di B vs A= 2.10 allora ARR% di B vs A è +110%, etc.è +110%, etc.

Page 54: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

N Engl J Med. 2005 Oct 20;353(16):1673-84.

Trastuzumab plus adjuvant chemotherapy for operable HER2-positive breast cancer by Romond EH et al.

METHODS: The trial compared doxorubicin+cyclophosphamide+paclitaxel every 3 weeks (group B, N=1679) with the same regimen plus 52 weeks of trastuzumab (group A, N=1672).

RESULTS: Recurrence rate at 3 years (AR) = 12.9% con trastuzumab vs 24.6% senza trastuzumab. Calcolare RR = 0.52 ; RRR = -48 %

Mortality rate at 3 years (AR) = 5.7% con trastuzumab vs 8.3% senza trastuzuamb Calcolare RR = 0.68 ; RRR = -32%

CONCLUSIONS: Trastuzumab combined with paclitaxel after doxorubicin and cyclophosphamide improves outcomes among women with surgically removed HER2-positive breast cancer.

Page 55: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

N Engl J Med. 2005 Oct 20;353(16):1673-84.

Trastuzumab plus adjuvant chemotherapy for operable HER2-positive breast cancer by Romond EH et al.

METHODS: The trial compared doxorubicin+cyclophosphamide+paclitaxel every 3 weeks (group B, N=1679) with the same regimen plus 52 weeks of trastuzumab (group A, N=1672).

RESULTS: Recurrence rate at 3 years (AR) = 12.9% con trastuzumab vs 24.6% senza trastuzumab. Calcolare RR = 0.52 ; RRR = - 48 %

Mortality rate at 3 years (AR) = 5.7% con trastuzumab vs 8.3% senza trastuzuamb Calcolare RR = 0.68 ; RRR = - 32%

CONCLUSIONS: Trastuzumab combined with paclitaxel after doxorubicin and cyclophosphamide improves outcomes among women with surgically removed HER2-positive breast cancer.

Page 56: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Essendo noti RA% di A e RA% di B ed il loro RR,chi calcola l’IC95% (estremo inferiore di RR e estremo superiore di RR)?

Es. RR= 2.1 (IC95%: da 1.6 a 2.9)

Un programma su computer

Page 57: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

IC95%

Esprime la probabilità che Esprime la probabilità che un evento sia avvenuto per un evento sia avvenuto per caso.caso.

1) Se l’IC95% attraversa la linea di identità (differenza non significativa): la differenza è dovuta al caso

2) Se l’IC95% non attraversa la linea di identità (differenza significativa): la differenza è “reale”

Page 58: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

La “ p “ e/o l’IC95%

Test di significatività statistica

Esprimono la probabilità Esprimono la probabilità che un evento sia avvenuto che un evento sia avvenuto per caso.per caso.

1) Se p>0.05 e/o IC95% attraversa la linea di identità: la differenza si considera “dovuta al caso”

2) Se p<0.05 e/o IC95% non attraversa la linea di identità: la differenza si considera “reale”

Page 59: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementareSettembre-Ottobre 2010

Esercitazione 

  Immaginare realisticamente……..   

Il nome di due farmaci candidati alla stessa

indicazione terapeutica (uno più nuovo e uno più

vecchio)

Un end-point verosimile per

misurare l’esito che sia dicotomico di

natura (oppure reso dicotomico sulla base di un valore limite o target)

Percentuale di soggetti che

soddisfano l’end-point (e P del

confronto A vs B)

Calcolare il rischio relativo

Calcolare ARR%oppureRRR%

Primo farmaco A

_____________……………%

Per A vs B Per A vs B ……………%

Secondo farmaco B

_____________……………%P = ………….

Per B vs A Per B vs A……………%

Page 60: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementare

Esercitazioni su web-scaricare (da www.osservatorioinnovazione.org/programs/ssize.zip e testare SSIZE.EXE

Page 61: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 62: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 63: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Programma della giornata

8.15-8.45 Ingresso e presentazione del corso

8,45.10.00 Disegno degli studi clinici come elemento che guida la conduzione

delle analisi statistiche Randomizzazione e sue finalità Potenza statistica e dimensione del campione Studi di superiorità vs studi di non-inferiorità

10.00-11.00 End-point continui vs end-point dicotomici La significatività statistica nella ricerca clinica L’intervallo di confidenza al 95% Denominazione dei principali test statistici e loro situazioni tipiche di

utilizzo

11.00-11.15 Coffee Break

11.15-12.45 Odds-ratio e rischio relativo Riduzione del rischio assoluto, riduzione del rischio relativo, aumento

del rischio assoluto, aumento del rischio relativo Number needed to treat  

Page 64: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Programma della giornata

II sessione 3 ore

14.00-17.15 • Analisi intention-to-treat vs analisi by treatment Curve di sopravvivenza e censorizzazione La metanalisi: princìpi elementari

17.00-17.15 Test ECM

Faranno parte integrante del corso esercitazioni individuali e a piccoli gruppi, nei quali saranno analizzate le metodologie statistiche di alcuni studi clinici selezionati su MEDLINE-PubMed (tra i quali lo studio MOSES.

Page 65: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Scegliere tra due spiegazioni..

PRIMA• E’ semplicemente

un caso• Non significa

niente

SECONDA• Non può essere un caso• C’è qualcosa “sotto” che

spiega il risultato• Il dato è “significativo”

Page 66: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Valutazione economica: un solo principio fondamentaleA = trattamento innovativo

B = trattamento standard

Confronto clinico A vs B:

se A non è significativamente più efficace di B:

se A è significativamente più efficace di B:

CMA: Paghiamo A non più di quanto stiamo già pagando B

CEA: Paghiamo A più di B (accettando un incremento di spesa purchè proporzionato all’aumento di beneficio*)

*Quindi: il costo per QALY guadagnato per A vs B è stato calcolato ed è accettabile.

Page 67: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Valutazione economica: un solo principio fondamentaleA = trattamento innovativo

B = trattamento standard

Confronto clinico A vs B:

se A non è significativamente più efficace di B:

se A è significativamente più efficace di B:

pareggio

vittoria di A

*Quindi: il costo per QALY guadagnato per A vs B è stato calcolato ed è accettabile.

Page 68: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 69: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementareSettembre-Ottobre 2010

A vs B

Page 70: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 71: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 72: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Valutazione economica: un solo principio fondamentaleA = trattamento innovativo

B = trattamento standard

Confronto clinico A vs B:

se A non è significativamente più efficace di B:

se A è significativamente più efficace di B:

CMA: Paghiamo A non più di quanto stiamo già pagando B

CEA: Paghiamo A più di B (accettando un incremento di spesa purchè proporzionato all’aumento di beneficio*)

*Quindi: il costo per QALY guadagnato per A vs B è stato calcolato ed è accettabile.

Page 73: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Valutazione economica: un solo principio fondamentaleA = trattamento innovativo

B = trattamento standard

Confronto clinico A vs B:

se A non è significativamente più efficace di B:

se A è significativamente più efficace di B:

pareggio

vittoria di A

*Quindi: il costo per QALY guadagnato per A vs B è stato calcolato ed è accettabile.

Page 74: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 75: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementareMonsummano Terme, 26 Settembre 2009

c.v.d.

Page 76: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementareMonsummano Terme, 26 Settembre 2009

Dimostrare la superiorità:

-se p<0.05 (per la superiorità)-se p<0.05-se p è significativa (per la superiorità)-se p è significativa-se IC95% non comprende l’identità

Dimostrare la non-inferiorità:-se p<0.05 (per la non-inferiorità)-se p è significativa (per la non-inferiorità)

Dimostrare

l’equivalenza

Page 77: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

A vs. B

c.v.d.

vittoria e pareggio……..

Distinguere “pareggio” per mancata superiorità vs. “pareggio” per dimostrata non-inferiorità

Disegno dello studio finalizzato a dimostrare la

superiorità di A vs. B

Mancata superiorità(essendo p>0.05 per la

superiorità)

c.v.d. fallisce!

Disegno dello studio finalizzato a dimostrare la non-inferiorità di A vs. B

Dimostrata non-inferiorità(essendo p<0.05 per la non-

inferiorità )

c.v.d. !!

Corso di Statistica elementareMonsummano Terme, 26 Settembre 2009

Page 78: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementareMonsummano Terme, 26 Settembre 2009

Matematica Statistica

Analogie c.v.d.(ad es.: 90%>80%)

c.v.d.(ad es.: superiorità

di 90% vs 80%, p<0.001 )

Differenze 90% è sempre maggiore di 80%

talora: 90% = 80% (cioè: non-superiorità,

non-inferiorità, equivalenza, “pareggio”)

Page 79: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementareMonsummano Terme, 26 Settembre 2009

superiorità vs

non-inferiorità

Page 80: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementareMonsummano Terme, 26 Settembre 2009

Dimostrare la superiorità:

-se p<0.05 (per la superiorità)-se p<0.05-se p è significativa (per la superiorità)-se p è significativa-se IC95% non comprende l’identità

Dimostrare la non-inferiorità:-se p<0.05 (per la non-inferiorità)-se p è significativa (per la non-inferiorità)

Dimostrare

l’equivalenza

Page 81: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Disegno di non-inferiorità negli studi randomizzati

Page 82: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Dabigatran nella fibrillazione atrialeN Engl J Med. 2009 Aug 30. [Epub ahead of print]

Dabigatran versus Warfarin in Patients with Atrial Fibrillation.

Connolly SJ et al. for the RELY Steering Committee and Investigators.

BACKGROUND: Warfarin reduces the risk of stroke in patients with atrial fibrillation but increases the risk of hemorrhage and is difficult to use. Dabigatran is a new oral direct thrombin inhibitor.

METHODS: In this noninferiority trial, we randomly assigned 18,113 patients who had atrial fibrillation and a risk of stroke to receive, in a blinded fashion, fixed doses of dabigatran - 110 mg or 150 mg twice daily - or, in an unblinded fashion, adjusted-dose warfarin. The primary outcome was stroke or systemic embolism.

RESULTS: Rates of the primary outcome were 1.69% per year in the warfarin group, as compared with 1.53% per year in the group that received 110 mg of dabigatran (relative risk with dabigatran, 0.91; 95% confidence interval [CI], 0.74 to 1.11; P<0.001 for noninferiority) …….and 1.11% per year in the group that received 150 mg of dabigatran (relative risk, 0.66; 95% CI, 0.53 to 0.82; P<0.001 for superiority).

The rate of major bleeding was 3.36% per year in the warfarin group, as compared with 2.71% per year in the group receiving 110 mg of dabigatran (P=0.003) and 3.11% per year in the group receiving 150 mg of dabigatran (P=0.31).

Page 83: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Dabigatran nella fibrillazione atriale

Dabigatran 110 mg

Warfarin Interpretazione del risultato Significatività

Embolismo 1.53% per anno 1.69% per anno “pareggio” (non-inferiorità) P<0.001 for non-inferiority

Sanguinamento 2.71% per anno 3.36% per anno “vittoria” (superiorità) di dabigatran essendo meno frequenti i sanguinamenti

P=0.003 for superiority

Dabigatran 150 mg

Warfarin Interpretazione del risultato Significatività

Embolismo 1.11% per anno 1.69% per anno “vittoria” (superiorità) di dabigatran essendo meno frequenti gli embolismi

P<0.001 for superiority

Sanguinamento 3.11% per anno 3.36% per anno “pareggio” P=0.31 for superiority

Page 84: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Corso di Statistica elementareMonsummano Terme, 26 Settembre 2009

Esercitazioni su MEDLINE PubMed

-lista degli clinical trials basati sulla non-inferiorità

-esame di alcuni abstract di tali studi

Page 85: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 86: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 87: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 88: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 89: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 90: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 91: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 92: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 93: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 94: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 95: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 96: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 97: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 98: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

ACCESSO AI DATI DI PRESCRIZIONE

SUL SINGOLO PAZIENTE (tuttora impossibile)

I dati del singolo paziente (quale farmaco? quali dosi? a quali date?) sono gli unici che permetterebbero di ricostruire:

__________________________________________________________________

A) NEL SINGOLO PAZIENTE:

1) la dose “reale” giornaliera (conoscere ciascuna delle dosi pro/die per stimare la dose media pro/die di “quel “paziente nonchè le eventuali oscillazioni in tale paziente tra dose massima giornaliera e dose minima giornaliera)

2) SOPRATTUTTO la durata del trattamento: Intervallo in giorni che intercorre tra inizio trattamento e fine trattamento

__________________________________________________________________

B) NELLA CASISTICA GLOBALE (dopo aver costruito il dato individuale) :

1) Analizzare la distribuzione statistica delle dosi e delle durate

2) Per quanto riguarda le durate: stimare la durata media, il range (max, min), la distribuzione per fasce di durata e soprattutto costruire la curva di Kaplan Meier riferita alle durate di trattamento

Page 99: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 100: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

CURVA DI KAPLAN-MEIER

Si usa quando:

-una popolazione che, a inizio osservazione, è tutta “senza evento” risulta esposta, col passare del tempo, al rischio di sviluppare l’evento in questione.

Es: curva di sopravvivenza: evento = morte

curva disease-free: evento = ricaduta della malattia oncol,

curva progression-free: evento = progressione della malattia

curva di ristenosi post stent coronarico: evento = ristenosi

curva seizure-free evento = ripresentarsi dell’epilessia

etc etc

Page 101: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 102: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 103: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

 

Rahimtoola SH. Food for afterthought: reflections from two implantable cardioverter defibrillator trials. Arch Intern Med 2004;164:1835-9

Page 104: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 105: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 106: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 107: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 108: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 109: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

CURVA DI KAPLAN-MEIER

Si usa quando:

-una popolazione (che, a inizio osservazione, è tutta “senza evento”) è esposta, col passare del tempo, al rischio di sviluppare l’evento in questione.

Es: curva di sopravvivenza: evento = morte

curva disease-free: evento = ricaduta della malattia oncol,

curva progression-free: evento = progressione della malattia

curva di ristenosi post stent coronarico: evento = ristenosi

curva seizure-free evento = ripresentarsi dell’epilessia

etc etc

Page 110: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

CURVA DI KAPLAN-MEIER per analizzare la durata di un trattamento

Si usa quando:

-una popolazione (che, a inizio-osservazione/inizio-terapia, è tutta “senza evento”/senza interruzione di terapia) è esposta, col passare del tempo, al rischio di sviluppare l’evento in questione (interruzione della terapia).

Es: curva K-M di ritenzione: evento = interruzione della terapia

Page 111: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Karsten Krakow, M. Walker, C. Otoul and J.W.A.S. SanderLong-term continuation of levetiracetam in patients with refractory epilepsy. Neurology 2001;56;1772-1774

Page 112: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

A prospective analysis of the outcome of levetiracetam in clinical practice

A Nicolson, SA Lewis, DF Smith NEUROLOGY 2004;63:568–570

Page 113: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

VALUTAZIONI DI APPROPRIATEZZA:___________________________________

REGOLARITÀ/IRREGOLARITÀ* NELL’ASSUNZIONE DEI

TRATTAMENTI CRONICI

*drop-out analysis, retention analysis, compliance

Page 114: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 115: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Durata mediana di trattamento (da curva di K-M) = 41 mesi

Page 116: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Durata mediana di trattamento (da curva di K-M) = circa 5 mesi

Page 117: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 118: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Mediana = 13 mesi circa

Page 119: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

ALTRI FARMACI ADATTI ALLA ESECUZIONE DELLE ANALISI DI RITENZIONE:

-antiepilettici (es. terapie aggiuntive)

-antipsicotici

-interferoni nella sclerosi multipla

-antidepressivi

-anti-TNF

-anti-Alzheimer

-antiretrovirali

Page 120: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

Dati regionali di prescrizione per condurre le analisi di “ritenzione”: informazioni necessarie per

eseguire l’analisi secondo K-M

• Codice identificativo del paziente (es. codice fiscale)

• Codice MINSAN del farmaco• Data della consegna del medicinale• Quantità consegnata (tutte quante estratte da un data-

base pluriennale)

ALTRO MATERIALE e/o STRUMENTI NECESSARI: archivio farmaci CODIFA-MINSAN, database regionale esteso su numerosi anni di prescrizione, un programma di statistica di sopravvivenza (es. Kaplan-Meier sotto SPSS), un “programmino ad hoc” per identificare gli inizi e le conclusioni delle terapie.

Page 121: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

DURATA DI UN TRATTAMENTO ANTIBIOTICO: Es., paziente = M.Rossi trattato con ceftriaxone.

0

20

40

60

80

100

0 1 2 3 4 5

days

rete

nti

on

(%

)

4

Un trattamento di 2 gg

Un trattamento di 3 gg

Un trattamento di 4 gg

Page 122: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.

-Analisi di I° livello: L'elemento-chiave è l’aggregazione dei dati per farmaco (o categoria ATC) e per intervallo di tempo. Esempio: spesa per fluorochinoloni 2006 vs 2005

-Analisi di II° livello (Kaplan-Meier): Si basano sull'accesso ai dati individuali (codice fiscale del paziente, MINSAN del farmaco, data della prescrizione, quantità prescritta). L'elemento-chiave è la durata del trattamento (o compliance o valutazione della irregolarità dell'assunzione dei trattamenti).

-Analisi di III° livello: Sono quelle più "belle e complete". Incrociano i dati di prescrizione con la storia clinica del paziente e consentono valutazioni "globali" di elevata rilevanza clinica. Ancora pochi esempi “svolti”. RISCHIO DI TROVARE TANTI (TROPPI?) “MISSING VALUES”.

Page 123: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 124: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 125: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 126: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 127: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 128: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 129: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 130: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 131: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 132: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 133: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 134: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 135: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 136: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 137: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.
Page 138: Corso di Statistica elementare Milano/Bologna/Napoli, Settembre-Ottobre 2010 A vs B.