LEZIONE A.10

Simmetria e ‘normalità’

TQuArs – a.a. 2010/11Tecniche quantitative per l’analisi nella ricerca sociale

Giuseppe A. Micheli

In questa lezione..

In questa lezione faremo tesoro dei risultati già ottenuti, e compiremo altri passi utili per rifinire la nostra capacità di analizzare una variabile:

Dapprima applicheremo la trasformata standard su esempi di distribuzioni differenti, per imparare a cogliere le differenze di forme al di là dell’ordine di grandezza e della misura di dispersione.

Daremo a questo punto una definizione della proprietà di simme-tria o asimmetria di una variabil, e ne indicheremo una misura.

C’è una distribuzione simmetrica per eccellenza, di fondamentale importanza in Statistica (soprattutto per l’inferenza): la distri-buzione Normale o di Gauss. Ne faremo la conoscenza.

Impareremo infine a usare i valori tabulati delle frequenze sottese alla distribuzione Normale ‘ridotta’ (standardizzata) per stimare – conoscendo solo media e deviazione standard di una variabile – la frequenza di osservare valori entro o fuori di una qualunque ‘regione di accadimento’.

La forma delle distribuzioni: un esempio

xi-xi+1 ni hi

0,4-0,8 400 1000

0,8-1,2 2000 5000

1,2-1,6 4000 10000

1,6-2,0 1600 4000

2,0-3,0 1000 1000

3,0-4,0 600 600

4,0-6,0 400 200

10000

010002000300040005000600070008000900010000

0 1 2 3 4 5 6 7

Diecimila coscritti secondo il reddito familiarem=1,732; =0,9365; Me=1,46; Md=1,40

zi-zi+1 hi

-1,43--1,00 930

-1,00--0,57 4651

-0,57--0,14 9302

-0,14- 0,29 3721

0,29- 1,35 943

1,35- 2,42 561

2,42- 4,56 187

0

-2 -1 0 1 2 3 4 5

Osserviamo una leva di coscritti secondo il reddito familiare. La trasformata stan-dard mostra un addensamento a sinistra, compensato da una lunga coda a destra.

Densità ricalco-

late!

Due caratteri, una popolazione

xi-xi+1 ni hi

50-58 20 2,5

58-66 400 50,0

66-74 1400 175,0

74-82 2900 362,5

82-90 2100 262,5

90-98 2700 337,5

98-114 480 30,0

10000

04080120160200240280320360400

40 50 60 70 80 90 100 110 120

Diecimila coscritti secondo il pesom=83,535; =10,483; Me=83,07; Md=78

zi-zi+1 hi

-3,20--2,43 26

-2,43--1,67 526

-1,67--0,91 1842

-0,91--0,15 3816

-0,15- 0,62 2727

0,62- 1,38 3553

1,38- 2,91 314

0

-3,5 -2,5 -1,5 -0,5 0,5 1,5 2,5

E’ ragionevole che i redditi siano distri-buiti in modo ineguale, asimmetrico. Invece la distribuzione del peso sembra più centrata intorno alla media: essa mo-stra però una marcata polarizzazione. La trasformata standard la evidenzia.

Densità ricalco-

late!

Confrontare la forma standardizzando

0

-2

0

-3,5

Se sovrappongo le due di-stribuzioni standardizzate, fa-cendo attenzione a uniforma-re le scale degli assi (quello orizzontale con i valori z, quello verticale con le densità ricalcolate), possiamo ora co-gliere le differenze nella forma delle v.s. depurate dall’influenza sia dell’or-dine di grandezza che del-la dispersione, ora tenute sotto controllo.

Ma quali altri caratteri della forma di una distribuzione possono essere catalogati?

Dopo l'ordine di grandezza e la dispersione,

la terza proprietà fondamentale della forma

di una variabile è la asimmetria.

La distribuzione dei redditi è ‘asimme-trica’, quella del peso molto meno

Blu:reddito

Rosso: peso

Una distribuzione ‘simmetrica’

xi-xi+1 ni hi

140-150 62 6,2

150-160 606 60,6

160-170 2417 241,7

170-180 3830 383,0

180-190 2417 241,7

190-200 606 60,6

200-210 62 6,2

10000

04080120160200240280320360400

130 140 150 160 170 180 190 200 210

Diecimila coscritti secondo la statura

m=175; =10,391; Me=175; Md=175

zi-zi+1 hi

-3,36--2,40 65

-2,40--1,44 631

-1,44--0,48 2518

-0,48- 0,48 3990

0,48- 1,44 2518

1,44- 2,40 631

2,40- 3,36 65

-3,5 -2,5 -1,5 -0,5 0,5 1,5 2,5 3,5

Consideriamo un terzo carattere. La di-stribuzione delle stature (Quetelet insegna) dà veramente una sensazione di simmetria…

Un’altra distribuzione ‘simmetrica’

xi-xi+1 ni hi

75-85 1450 145

85-95 1400 140

95-105 1400 140

105-115 1500 150

115-125 1400 140

125-135 1400 140

135-145 1450 145

10000

04080120160200240280320360400

70 80 90 100 110 120 130 140 150

m+m-

Coscritti secondo il Quoziente di Intelligenza

m=110; =20,02; Me=110; Md=110

zi-zi+1 hi

-1,75- -1,25 2900

-1,25- -0,75 2800

-0,75- -0,25 2800

-0,25– 0,25 3000

0,25 – 0,75 2800

0,75 – 1,25 2800

1,25 –1,75 2900

-2 -1 0 1 2

Ma anche la distribuzione dei Q.I. dà la stessa sensazione. Come definire allora la simmetria o asimmetria di una variabile? E, se è possibile, come misurarla?

Come definire la simmetria

04080120160200240280320360400

130 140 150 160 170 180 190 200 210

04080120160200240280320360400

130 140 150 160 170 180 190 200 210

Il concetto di simmetria implica un polo centrale della distribuzione, ri-spetto a cui si osservi questa proprietà. Immaginiamo il profilo della distri-buzione di una v.s. come il fondale di un palcoscenico chiuso da un sipario.

Man mano che il sipario si apre (quindi a pari distanza a sinistra e a destra del centro del palco) il profilo varia ma sempre con pari altezza sui due lati.

Un sipario

è sempr

e di velluto rosso

Una definizione più formaleDiamo allora una definizione più formale. Anzitutto noi non sappiamo defi-nire la asimmetria in sé, ma solo come assenza di simmetria. Una distri-Una distri-buzione è asimmetrica se non è simmetricabuzione è asimmetrica se non è simmetrica. In generale:

Una distribuzione è simmetrica rispetto a un polo se per ogni mo-Una distribuzione è simmetrica rispetto a un polo se per ogni mo-dalitàdalità xxii = = + k + k

ne esiste una speculare xne esiste una speculare xjj==–k con la medesima frequenza:–k con la medesima frequenza:

k kfkf È abbastanza intuitivo che se X è simmetrica allora il polo centrale deve coincidere sia con la mediana (il ‘valore di mezzo’) che con la media aritmetica (il ‘baricentro’). Cioè = M(X) = Me(X).

Se poi la distribuzione è, come si dice, ‘regolare’ (cioè ha un unico valore modale), la simmetria comporta la sovrapposizione delle tre misure cen-trali m=Me=Md. Su questa ultima proprietà si basa una misura della asimmetria come scostamento dalla perfetta simmetria. 

Definire la asimmetria

Definiamo asimmetria "negativa" (skewness sinistra) quella di una distribuzione regolare che presenta una co-da a sinistra di valori lontani dalla media e un massimo spo-stato a destra ri-spetto al baricentro.

Definiamo asimmetria “positiva" (skewness destra) quella di una distribuzione regolare che presenta una co-da a destra di valori lontani dalla media e un massimo spo-stato a sinistra ri-spetto al baricentro.

Curva skew destra Curva skew sinistra

Rispetto alla situazione di perfetta simmetria possiamo distinguere due situazioni opposte

Misurare la asimmetria

In caso di skewness destra la media (nel cui calcolo entrano tutte le xi incluse le più alte) è trascinata più a destra della me-diana, a sua volta più a destra della moda:

Md Me m

(m-Me) 0

moda

mediana

media

moda

mediana

media

media=mediana=moda

Analogamente in caso di skewness sinistra la media (che coinvolge anche le xi più basse) è trascinata più a sini-stra della mediana, a sua volta più a sini-stra della moda:

m Me Md

(m-Me) 0

La differenza (m-Me), depurata dell’effetto della dispersione dei dati divi-dendola per ) è allora u-na buona misura di asim-metria, detta skewness:

Sk = (m-Me)/

Sk 0 Sk 0Sk = 0

NB: lo skewness non è misura normalizzata tra 0 e 1 (altre lo sarebbero).

Un miscuglio, due distribuzioni

xi-xi+1 ni

50-58 20

58-66 300

66-74 1100

74-82 2140

82-90 1100

90-98 300

98-114 40

5000

Sottogruppo con alto red-dito secondo il peso

m=78,13; =8,164

Me=78,04; Md=78

04080120160200240280320360400

40 50 60 70 80 90 100 110 120

xi-xi+1 ni

50-58 0

58-66 100

66-74 300

74-82 760

82-90 1000

90-98 2400

98-114 440

5000

04080120160200240280320360400

40 50 60 70 80 90 100 110 120

Sottogruppo con basso red-dito secondo il peso

m=88,94; =9,69

Me=91,13; Md=94

Sk=+0,011

Sk=-0,226

La distribuzione del pe-so tra i 10mila coscritti aveva forma bipolare e una certa asimmetria positiva (Sk=+0,044). Ma essa ‘mischia’ due popolazioni distinte in base al reddito, con dif-ferenti m, e Sk

Una distribuzione tutta particolare

xi-xi+1 ni

140-144 9

144-146 10

146-148 16

148-150 27

150-152 45

152-154 72

154-156 108

156-158 159

158-160 222

160-162 300

162-164 389

164-166 484

166-168 579

168-170 665

170-172 736

172-174 781

174-176 796

04080120160200240280320360400

130 140 150 160 170 180 190 200 210

mmxx=175=175

xxiim+=185m-=165

m-2=155 m+2=195

xi-xi+1 ni

176-178 781

178-180 736

180-182 665

182-184 579

184-186 484

186-188 389

188-190 300

190-192 222

192-194 159

194-196 108

196-198 72

198-200 45

200-202 27

202-204 16

204-206 10

206-210 9

10000

Torniamo alla distribuzione delle stature e disaggreghiamo le classi. L’istogramma as-sume forma simmetrica e campanulare.

Se facciamo tendere gli intervalli i di base a misure infinitesime..

La distribuzione Normale o di Gauss

0

130 140 150 160 170 180 190 200 210

mm

m+m-

m-2 m+2

x

exfmx

2

2

2

)(

2

1)(

Va sotto il nome di Gauss la legge di frequenza di una v.s. continua, dalla forma simmetrica e campanulare, per la quale sono stati dimostrati fondamentali risultati di convergenza, tanto da farne una legge di riferimento o “Normale”.

N(m, )Una distribuzione Normale con media m e deviazione standard (la indicheremo con N(m,) possiede queste proprietà:

Ha forma simmetrica e campanulare

Dipende da due parametri che corri-spondono alle statistiche m e

Tende asintoticamente a zero per x

È unimodale, con massimo in x=m=Me

Ha due punti di flesso (dove cambia o-rientamento la concavità della curva) in x=m

Due buoni motivi di interesse

0

-4 -3 -2 -1 0 1 2 3 4

zzii

Ci sono almeno due motivi di interesse per la N(m,).

Il primo è che già Gauss la identifica come legge di distribu-zione degli errori accidentali intorno a una misura centrale. Il teorema del limite centrale, formulato nel ‘900, indica nella Normale la legge a cui converge la somma di un numero crescente di ‘esperimenti’ ripetuti, qualunque sia la loro distribuzione.

Il secondo motivo è che la legge di densità dipende solo dai due parametri m e (e, e 2 = costanti!), interni alla distri-buzione stessa. Quindi se noi standardizziamo le modalità di una distribuzione osservata, qualunque ne sia la forma, la di-stribuzione così ‘ridotta’ N(0,1) non dipende da nessun parametro. Insomma, una distribuzione ‘universale’!

0

5 6 7 8 9 10 11

0

0 10 20 30 40 50 60 70 80 90 100

La distribuzione Normale ridotta

0

-4 -3 -2 -1 0 1 2 3 4mmzziim+m-m-2 m+2

34,1%

2,3%

13,6%

34,1%

13,6%

2,3%

2

2

2

1)(

z

ezf

Ripetiamo questo concetto, così utile e importante. Se noi constatiamo, o sappiamo per certo (o almeno ipotizziamo) che il carattere X si distribui-sce secondo una Normale di media m e deviazione standard (lo scriviamo così: X~N(m;)), e consideriamo i valori standardizzati z=(x-m)/ questi si distribuiranno ancora secondo una Normale, ma con media m=0 e deviazione standard =0 (e lo scriviamo così: Z ~ N(0,1)).

Quindi la distribuzione normale standardizzata ha legge di den-sità fissa qualunque sia la distri-buzione N(m,) di partenza.

L’area sottesa alla curva in un qualunque intervallo dato è quindi fissa e tabulabile. Per esempio:

f(-1<x<1)=68,2%

La tavola della Normale ridotta

0

-4 -3 -2 -1 0 1 2 3 4

Per usare la tavola della Normale ridotta N(0,1) si cerca nella prima colonna (intero e primo decimale) e prima riga (secondo deci-male) l’estremo superiore di un intervallo 0<Z<z (dove z=0 corrisponde al valore medio): all’incrocio tra riga e colonna di entrata si indi-vidua la frequenza di quella regione: f(0<Z<z)=(z).

Se z=1,96 (z)=0,475

Un primo esempioAbbiamo visto che la statura di diecimila coscritti si distribuisce secondo una Normale, con m=175 e =10,39. Senza dover avere sottomano l’intera distribuzione mi bastano questi due parametri e l’ipotesi che X ~ N(m,)

Per stimare per es. la frequenza di coscritti di statura compresa tra 175 (media) e 190 cm. Occorre anzitutto trasformare l’intervallo in valori z:

Se x=190 allora z=(190-175)/10,39=1,44

Nella tavola in corrispondenza di z=1,44 trovo (z)=f(0<Z<z)=0,4251.

Dunque le stature tra 175 (media) e 190 capitano nel 42,5% dei casi.

0

130 140 150 160 170 180 190 200 210

(z)=42,5%E se avessi voluto stimare la frequenza di stature comprese tra 160 e 190 cm., cioè 15 cm sopra e sotto la media? Niente di più facile, visto che la curva è simmetrica e

(z)=f(0<Z<z)= f(-z<Z<0)=(-z)

Quindi f(-z<Z<z)=2(z)=85%

(-z)=42,5%

Un secondo esempioPrendiamo ora la distribuzione del peso dei coscritti. Supponiamo di non avere l’intera distribuzione ma solo i parametri m=83,5 e =10,5. Per avere una stima della frequenza di osservazioni compresi tra 82 e 90 chili, facciamo la solita ipotesi che X ~ N(m,).

Ora però l’intervallo non è centrato sulla media (è spostato a destra). Calcoliamo separatamente due frequenze (sapendo che (-z)= (z)):

f{m<X<90}=f{0<Z<(90-m)/)}=f{0<Z<0,62}=(0,62)=0,2324

f{82<X<m}=f{(82-m)/<Z<0}=f{-0,14<Z<0}=(-0,14)=(0,14)=0,0557

f{82<X<90}= (0,62)+ (0,14)=0,2324+0,0557=0,288=28,8%(0,62)=23,2%

(-0,14)=5,6%

0

-4 -3 -2 -1 0 1 2 3 4

In base all’ipotesi di normalità di X si stima che tra 82 e 90 chili stia il 29% dei casi. In realtà la v.s. X ha un

‘buco’ proprio in quella classe che contiene solo il 21% delle osservazioni. Ma più di così non potevamo fare!

Un ultimo esempioA volte siamo interessati a stimare la frequenza di casi non entro una data re-gione, bensì al di fuori di essa. Per es.:

La frequenza dei bocciati

La frequenza di frecce scagliate fuori bersa-glio (troppo a destra e troppo a sinistra)…

Sappiamo che la distribuzione del peso dei coscritti ha m=83,5 e =10,5. Fissia-mo una soglia critica a k=m+2=104,5 chili e chiediamo: date le diverse di-stribuzioni per alti e bassi redditi, quale sarà nei due casi la frequenza di ragaz-zi sovrappeso? Detto k* il valore stan-dardizzato (k-m)/, vale la relazione:

0

-4 -3 -2 -1 0 1 2 3 4

Alto reddito: m=78,1; =8,16

K*=(104,5-78,1)/8,16=3,23

½ - (3,23)=0,5 – 0,4995 0

f(X>k)=f(Z>k*)=f(0<Z<)-f(0<Z<k*)=(+)- (k*)=0,5 - (k*)

(k*)

0,5-(k*)

Basso reddito: m=88,9; =9,69

K*=(104,5-88,9)/9,69=1,61

½ - (1,61)=0,5 – 0,4463=5,4%

Un confronto con Cebicev

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 0,5 1 1,5 2 2,5 3 3,5 4 4,5 5

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 0,5 1 1,5 2 2,5 3 3,5 4 4,5 5

L’assunzione di normalità di una distri-buzione, la standardizzazione di una variabile e l’uso della tavola della N(0,1) ci consentono, dati solo m e , di avanzare una valutazione della frequenza di osser-vazioni in un certo intervallo:

f{m-zf{m-z<X<m+z<X<m+z}= f{-z<Z<z}=2}= f{-z<Z<z}=2(z)(z)

Con un po’ di esercizio si può valutare qualunque frequenza, interna o esterna a una data regione, a sua volta centrata intorno alla media o no.

La valutazione così ottenuta della fre-quenza f{|x-m|z} (espressione equiva-lente a quella sopra) è comunque assai più elevata del ‘pavimento’ fissato dal teorema di Cebicev [=1-(1/z2)].

z 2(z) 1-(1/z2)

1,0 68,3% 0

1,5 86,6% 55,5%

2,0 95,4% 75,0%

2,5 98,8% 84,0%

3,0 99,7% 88,9%