Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

34
Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007

Transcript of Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

Page 1: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

Il caso delle misuredi eventi rari

Caterina BloiseIncontri di Fisica

LNF-INFN, 2 ottobre 2007

Page 2: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 2

Scelta degli argomenti

I risultati delle misure Determinazione del livello di confidenza di un risultato Il caso (molto comune) della ricerca di eventi rari Estrazione del segnale in presenza di fondo Trattamento delle fluttuazioni statistiche Trattamento delle sistematiche

Motivazioni Sono tutte questioni ampiamente dibattute Facilmente esemplificabili Di interesse generale

Tutti esemplificati

Page 3: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 3

I risultati delle misure

Il risultato si vuole che contenga l’informazione del processo di misura che lo determina, un processo complesso in cui sono coinvolti la strumentazione e la capacità sperimentale di controllo, i criteri per la selezione degli eventi di interesse, le fluttuazioni statistiche del campione.

Possiamo esemplificare bene la procedura che porta alla determinazione del risultato focalizzando le argomentazioni al caso della ricerca di eventi rari.

Questa presuppone, schematicamente, una procedura di selezione la valutazione della composizione del campione selezionato la determinazione del numero di eventi di cercati (segnale),

estratta dal conteggio del campione selezionato (s+b) la valutazione degli intervalli di confidenza del risultato in

connessione alle fluttuazioni statistiche e alle sistematiche

Page 4: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 4

Selezione degli eventi

Bisogna definire un set di variabili discriminanti in grado di separare il segnale dal fondo e un set di loro valori (tagli) in base ai quali effettuare la selezione

Il campione selezionato sarà composto di un numero di eventi n

n = s + b = s S + b B s = P ( accept | s ), b = P ( accept | b )

Page 5: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 5

Un esempio di procedura selettiva

Le predizioni del Modello Standard sono confermate oggi con incredibile precisione dagli esperimenti

L’aspetto insoddisfacente è l’incapacità di motivare il numero e la massa di quark e leptoni

La ricerca di fenomeni di nuova fisica comprende una serie di processi soppressi e calcolabili con precisione nell’ambito del Modello Standard. Un risultato diverso indicherebbe effetti nuovi nel settore indagato

La ricerca di decadimenti K e (Ke2) ricade in questa classe, in questo caso la frequenza aspettata è 1.4/105

“Ke2” a KLOE

Page 6: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

Ricerca di nuova fisica: “Ke2” a

KLOE

M2lep (MeV2)

MC Ke2

MC K2

eE

1

E2

E5

Clus

ter de

pth

Calorimeter

Sperimentalmente bisogna identificare questi eventi, isolandoli dal canale 40,000 volte più frequente K (K2)

Gli eventi sono caratterizzati a KLOE da impulsi diversi dei secondari carichi. L’ottima ma comunque finita precisione della misura dell’impulso impone l’introduzione di ulteriori variabili discriminanti

M2lep= (EK-Plep)2 – (Plep)2

per K2 ~1.1 104

per Ke2 ~0.2

T.Spadaro, Pechino 07

Page 7: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007

MC Ke2

MC K2

MC K2

MC Ke2

Emax

(MeV)

ERMS

(MeV)

Af

0-0.4-0.8 0.4 0.8 0 100

0 40 120

200 300

800

1

2

3

0

1

2

0

2

4

Variabili discriminanti“Ke2

” a KLOE

T.Spadaro, Pechino 07

Page 8: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007M2lep (MeV2)

MC K2 w/o PID

MC K2 w PID

MC Ke2

w/o PID

MC Ke2

w PID

M2lep (MeV2)

Data w/o PIDData w PID

Risultati della selezione

La procedura è in grado di selezionare il segnale con = 0.6, riducendo il fondo allo 0.2% del valore iniziale

L’analisi di un ulteriore campione, K e , permette di controllare le incertezze dovute alla simulazione.

“Ke2” a KLOE

T.Spadaro, Pechino 07

Page 9: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 9

Una procedura di fit del likelihood nel piano ERMS vs M2lep

permette, conosciute le p.d.f. di segnale e background, di ottenere il conteggio di b e s (s = 8090±160)

M2lep (MeV2)

Data

Fit region

ERMS

(MeV)

ERMS (MeV)

M2lep (MeV2)

Data

° MC FitMC bkg

-40000

400

800

-2000 0 2000 4000

040

800

1200

80 120

400

Conteggio del segnale“K

e2 ” a KLOE

T.Spadaro, Pechino 07

Page 10: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 10

Determinazione del livello di confidenza

Data la distribuzione P(x|) si individuano i valori di x più improbabili fino ad ottenere una somma di probabilità leggermente minore o uguale a tali valori sono intesi come utili a rigettare l’ipotesi che il risultato della misura sia

L’operazione si ripete per ogni

Page 11: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 11

Intervalli di confidenza

P(n|e- n /n! Per ogni la probabilità che n sia

compreso nell’intervallo centrale è del 68% o appena superiore per costruzione

Per ogni n, è compreso tra [-,,+] con livello di confidenza del 68%

n = 3 [2.16, 3.38] 3-0.84

+0.38

La tecnica è la stessa per ogni C.L., sia esso centrale, sia un limite superiore [0, +], o inferiore [-, ∞] Se la determinazione sperimentale di x è n, siamo in grado di selezionare tra tutti i valori di quelli “compatibili” con n, per cui n non è compreso tra i valori individuati nell’operazione precedente

L’intervallo di ottenuto conterrà il valore del parametro misurato con probabilità ≥ 1 - .

n

-

+

68%

16%16%

Page 12: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 12

P(n|se-(s+b) (s+b)n /n! Un’analoga regione, traslata di b, si

ottiene quando si vuole misurare un segnale in presenza di fondo b

La costruzione indica zone scoperte, con risultati nella regione di s non fisica,in caso di sottofluttuazione nel background

La costruzione degli intervalli per i limiti superiori rimane indipendente e diversa da quella degli intervalli centrali

Questi aspetti sono inerenti la costruzione degli intervalli di confidenza che è indipendente dalla prossimità della regione non fisica dei valori dei parametri

Estrazione del segnale in presenza di fondo

intervalli centrali, di 90% C.L. con fondo b = 3

G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873

Page 13: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 13

Sottofluttuazioni del fondo

P(n|se-(s+b) (s+b)n /n! n = 5, b = 0.9 s = 4.1

-2.16+3.38

n = 5, b = 4.9 s = 0.1-2.16

+3.38 ? n = 5, b = 6.9 s =-1.9

-2.16+3.38 ?

n = 5, b = 10.9 s = -5.9-2.16

+3.38 ?

Corretto se si ricorda l’intera procedura e che ci si aspetta per costruzione di rigettare l’ipotesi giusta sul parametro con probabilità del 32%

Un risultato che tenga conto della regione fisica del parametro sarebbe comunque di più facile lettura

Page 14: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 14

Ordinamento della p.d.f.

G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873

intervalli centrali, di 90% C.L. con fondo b = 3

P(n|se-(s+b) (s+b)n /n! Feldman e Cousins hanno proposto

un diverso principio di ordinamento per la costruzione degli intervalli di confidenza

Ad ogni n viene assegnato un rango in base al rapporto P(n|sP(n|sbest

sbest nel caso della poissoniana è max{0, n-b}

Per costruire gli intervalli [n-(s), n+

(s)] si utilizzano gli n in ordine decrescente di rango fino ad integrare una probabilità pari al C.L.

Page 15: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 15

Limiti superiori sul segnale

P(n|se-(s+b) (s+b)n /n! n = 5, b = 0.9 s = 4.1

-2.35+2.71

n = 5, b = 4.9 s < 2.81 (5.0) n = 5, b = 6.9 s < 1.23 (3.2) n = 5, b = 10.9 s < 0.35 (1.7)

G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873

Limiti sul segnale più stringenti per sottofluttuazioni del background più improbabili

Situazione attesa. Quando la sottofluttuazione è estremamente improbabile la valutazione del background diventa sospetta

Page 16: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 16

Evidenza di segnale

Per n> 6 si passa da limiti superiori a intervalli di confidenza per s

Per ottenere un livello di falsi segnali inferiore all’1% con b = 3 è richiesto n ≥ 9

n

s

FC: Intervalli @90% C.L., b = 3

Page 17: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 17

Dal Report su Chernobyl

n = 19 [15,24] 68% C.L. ; [12.5,27.5] 90% C.L.; [11,29] 95% C.L. indicativo della precisione del numero atteso o sovrafluttuazione di 2 ?

Intervalli di confidenza, C.L. = 0.68, limiti superiori per = 0.90 n = 22 b = 6.78 [10.6, 20.5] b= 11.7-2.5 +3.1 [5.7, 15.6] n = 7 b = 4.87 < 7.6 b= 8.4 < 4.2 n = 0 b = 2.59 < 0.1 b= 4.5 ---

Page 18: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 18

Trattamento Bayesiano

L’approccio alternativo proposto dagli statisti è quello di considerare le grandezze da determinare variabili, alla stregua delle quantità misurate

Assunzione insoddisfacente per molti Il processo di misura è quindi schematizzabile in termini di

estrazione della p.d.f. delle grandezze da determinare a partire dalla p.d.f. delle variabili misurate

)();();( PnPnP

L’operazione presuppone l’introduzione a priori della p.d.f. delle grandezze P()

Anche la necessità di introdurre P() sembra insoddisfacente per l’arbitrarietà della scelta

Da un altro punto di vista questo sembra praticamente inevitabile La dipendenza del risultato dalla p.d.f. introdotta a priori va

comunque studiata e presentata

Page 19: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 19

Intervalli credibili

Seguendo l’approccio bayesiano si arriva a definire gli intervalli di credibilità [-,,+] per le grandezze misurate, corrispondenti ad un livello di confidenza , invertendo l’equazione

)();( PnPrn

P() uniforme: tutti i valori di hanno la stessa credibilità a priori

P(ln() uniforme P()1/ tutti i valori di hanno la stessa credibilità a priori se sono della stessa scala, all’aumentare della scala diventano proporzionalmente più improbabili

rn costante di normalizzazione

Page 20: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 20

Intervalli credibili – prior uniforme

= x

P(0 events| )

(Likelihood)

Prior: uniformPosterior P( )

3 P( ) d = 0.95 Stesso limite superiore del caso frequentista

0

Se n=0

Page 21: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 21

Intervalli credibili, dipendenza da b

sers

snorm

0

0

nnormer

Prior: uniform

sbsers

nbsnorm

0

)( )(

Se n=0 il limite superiore non dipende da b

1.-s+ = s+ = -ln( 1.- s+ = 2.3 @ 90% C.L. s+ = 3.0 @ 95% C.L. s+ = 4.6 @ 99% C.L. Riflette il fatto che in questo caso

sappiamo precisamente che il valore ottenuto nb = 0

Page 22: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 22

= x

P(0 events| )

(Likelihood)

Prior: uniform in ln Posterior P( )

3 P( ) d » 0.95

0

Se n=0

Intervalli credibili – prior 1/

Page 23: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 23

Intervalli di confidenza usando le likelihood

Si utilizzano i valori della grandezza da misurare corrispondenti alog(L) = log(LMAX) – ½ : 68% C.L.

log(L) = log(LMAX) – 1.35 : 95% C.L.

Se n = 5 5.0-1.9

+2.6 @ 68% C.L.

Page 24: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 24

a

b

L(a,b)

Il caso di più parametri

Si fissa un parametro, b, e si trova l’intervallo per a usando ln L=-½ Si fissa a, e si trova l’intervallo per b usando ln L=-½ Il rettangolo individuato è relativo a un C.L. 0.682=46% L’ellisse tangente è relativa a un C.L. = 39%

In generale le curve di uguale likelihood L circoscrivono una regione nello spazio dei parametri relativa ad un C.L. dato da P(N) = , con = 2ln L e N numero di parametri

Page 25: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 25

Trattamento delle sistematiche

Si ripete la costruzione degli intervalli utilizzando la poissoniana o la funzione di verosimiglianza, likelihood, convoluta con il prodotto delle gaussiane che tengono conto delle incertezze sul valore del fondo e delle sistematiche sull’efficienza nella selezione del segnale

Page 26: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 26

Effetto degli errori sistematici

N_obs b Sys. Unc. % Intervalli per

2 2 0.0 [0,3.90]

0.2 [0,3.95]

0.3 [0,4.10]

0.4 [0,4.65]

6 2 0.0 [1.1,9.45]

0.2 [1.05,10.05]

0.3 [1,05,11.50]

0.4 [1.05,13.35]

Page 27: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 27

Ricerca di eventi Ks000

n = 4 b = 3.2±1.5 b = 0 < 5.3, 90% C.L. b/b = 0.4 < 5.8, 90% C.L.

Previsto nel Modello Standard con frequenza 2/109 in quanto può avvenire solo attraverso processi che violano CP

Il fondo è costituito da Ks00 che è150 milioni di volte più frequente

Page 28: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 28

Ricerca di eventi a Belle

b = 13.9-4.8

+6.0 n=10

b = 0 < 3.3, 90% C.L. b/b = 0.4 < 3.6, 90% C.L. Usando la funzione di verosimiglianza

Belle ha pubblicato un limite leggermente migliore, corrispondente a < 2.2, 90% C.L.

Decadimento vietato nel Modello Standard ma possibile in Modelli Supersimmetrici, che prevedono la violazione del numero leptonico

Page 29: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 29

Il fenomeno delle oscillazioni di particella

Fenomeno quanto-meccanico governato da massa e vita medie delle particelle coinvolte

Analisi che utilizza la funzione di likelihood, L= 1 -(+) A cos(ms t)

Page 30: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 30

Conclusioni

I risultati si vorrebbe compendiassero molteplici aspetti della misura per garantire un confronto semplice e affidabile con altri esperimenti e con le previsioni teoriche

La costruzione degli intervalli di confidenza è cruciale da questo punto di vista.

Diverse procedure sono utilizzate per la definizione degli intervalli di confidenza. Per essere accettabili devono garantire la copertura dei valori compatibili con le variabili misurate al livello di confidenza dichiarato.

Le procedure più comunemente utilizzate vincolano i risultati nella regione fisica

La definizione degli intervalli attraverso le likelihood è ampiamente utilizzata perché permette di includere direttamente dettagli sperimentali e vincoli fisici

Page 31: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 31

Page 32: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 32

Χ2 approximation

Constant for n given

Profile likelihood function

2 log L(b_max …) ≈ Χ2

sl su

Chi2 = 2.71

Page 33: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 33

Page 34: Il caso delle misure di eventi rari Caterina Bloise Incontri di Fisica LNF-INFN, 2 ottobre 2007.

LNF-INFN, Frascati C. Bloise- 2 ottobre 2007 34

kkkk

G.Feldman e R.Cousins,Phys.Rev.D,57(1998),3873