Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno:...

33
ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 1 Valore Aggiunto” ultima moda o ultima spiaggia nell’oceano della Valutazione? Enrico Gori Dipartimento di Scienze Statistiche – Università di Udine CTS Invalsi

Transcript of Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno:...

Page 1: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 20031

“Valore Aggiunto”

ultima moda o ultima spiaggia nell’oceano della Valutazione?

Enrico Gori

Dipartimento di Scienze Statistiche – Università di Udine

CTS Invalsi

Page 2: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 20032

Valore Aggiunto:strumento di comprensione del

Processo Formativo

Caratteristiche studente

Famiglia e Società

•Curriculum

•Risorse

•Qualità della gestione

•Qualità dell’insegnamento

•Composizione della classe

•Metodi

Scuola

Quale pesohanno questi

fattori sul risultato?

ConoscenzeCompetenze

ecc.

Page 3: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 20033

Fattori influenti: quelli veramente rilevanti

Qualità degli insegnanti

27

Valore Aggiunto :strumento di comprensione del

Processo Formativo

ConoscenzeCompetenze

ecc.

Caratteristiche individuali

Famiglia e Società

•Curriculum

•Risorse

•Qualità della gestione

•Qualità dell’insegnamento

•Composizione della classe

•Metodi

Scuola

Conoscenze pregresse dello

studente

Qualità degli insegnanti della scuola

“precedente”

Page 4: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 20034

Fonti della disuguaglianza

27

Valore Aggiunto:strumento di comprensione del

Processo Formativo

ConoscenzeCompetenze

ecc.

Caratteristiche individuali

Famiglia e Società

•Curriculum

•Risorse

•Qualità della gestione

•Qualità dell’insegnamento

•Composizione della classe

•Metodi

Scuola

sociali e culturali dovuti all’Istituzione

ConoscenzeCompetenze

Page 5: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 20035

La Valutazione nei sistemi educativi

Obiettivi

Risultati ?Misura dei

risultatiMisura dell’effetto

sui risultati

“Valore Aggiunto”Valutazione

Processi educativi

(forme, risorse ecc.)

Feedback (modifiche dei processi)

Famiglie e Società

Scuola

I nostri figli

Page 6: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 20036

Gli obiettivi dei sistemi di istruzione e formazione in Europa(Consiglio d’Europa, Gazzetta Ufficiale delle Comunità

Europee, 2002)

!Lettura, scrittura e calcolo!Matematica, scienze e tecnologia!Lingue straniere!Settore delle TIC e uso della tecnologia!Apprendere ad apprendere!Competenze sociali!Spirito d’impresa!Cultura generale

Page 7: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 20037

gli studenti

singolo studente

“almeno 2”

ed equità ?

Si può misurare anche su

“1 solo studente”

Come coniugare eccellenza

(a livello individuale e collettivo)

Obiettivi del sistema educativo

Problema:Destinatari

Conoscenze

Competenze

Salute

Senso Civico

Equità

Page 8: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 20038

Precisazioni metodologiche sulla Valutazione nei Servizi alla Persona di Pubblica Utilità

(Gori e Vittadini, 1999)Istruzione

Stato psico-fisico dello studente

Processi educativi(ai diversi livelli)

speso

Obiettivi

Misura dei risultati(Misura dello stato psico-fisico)

Misura dell’effetto sui risultati

(Valore Aggiunto)

Azioni correttive

Concetti

confusiRisultati

Page 9: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 20039

Precisazioni metodologiche sulla Valutazione nei Servizi alla Persona di Pubblica Utilità

(Gori e Vittadini, 1999)

Stato psico-fisico dello studente

Processi educativi(ai diversi livelli)

Obiettivi

Misura dei risultati(Misura dello stato psico-fisico)

Misura dell’effetto sui risultati

(Valore Aggiunto)

Azioni correttive

ma il primo è funzionale al secondo

Istruzione

Concetti differenti

Page 10: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200310

I pericoli della confusione tra i concettidi “risultato” e “valore aggiunto”

Background degli Allievi

Elevato

Basso

Studenti 100 100

30

70

80

20

7570

26

44

65

10

Scuola B più efficace della scuola AAX

BX

ScuolaA

ScuolaB

Sufficienti

Sufficienti

Sufficienti

70% 75%

87% 81%

63% 50%

Risultatomedio

Valore aggiunto di A

rispetto a B

+6%

+13%

+10,6%

Page 11: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200311

AREA ALL

APS 27.1 28.8 27.3

ENG 77% 2% 84.8% 75%MAT 63% 0% 81.5% 71%SCI 89% 2% 81.5% 87%

2001 230 259.5 2332000 244 257.1 2311999 280 250.7 2181998 233 234.6 193

5719.3%0.1%

Click here for an explanation

Archdeacon Cambridge's Church of England Primary SchoolLEA: Richmond-upon-Thames

TYPE: VA, 4-11

The Green, Twickenham, TW2 5TU.

Tel: 020 8894 4777

SEN

ABSENCE

IMPROVEMENT

CONTEXT

ELIGIBLE

PERFORMANCE AVERAGES

2001

Sul networkdella BBC

Livello medio delle conoscenze

Indirizzo della scuola

% di studenti che superano il livello

minimo

Serie temporale

Questi indicatori sono adeguati?

“Education League Table” - Anno 2001

Page 12: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200312

2001 England and WalesValue Added Line & Progress Chart

AREA ALL

APS 27.1 28.8 27.3

ENG 77% 2% 84.8% 75%MAT 63% 0% 81.5% 71%SCI 89% 2% 81.5% 87%

2001 230 259.5 2332000 244 257.1 2311999 280 250.7 2181998 233 234.6 193

5719.3%0.1%

Click here for an explanation

Archdeacon Cambridge's Church of England Primary SchoolLEA: Richmond-upon-Thames

TYPE: VA, 4-11

The Green, Twickenham, TW2 5TU.

Tel: 020 8894 4777

SEN

ABSENCE

IMPROVEMENT

CONTEXT

ELIGIBLE

PERFORMANCE AVERAGES

2001

Education league table

+

Governi del

Northern Ireland

New South Wales

Come viene calcolato il Valore Aggiunto ?

Page 13: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200313

Bruno Ciari ( 1972 )

Le Nuove Tecniche Didattiche

Editori Riuniti

Page 14: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200314

“Valutazione” come“Valutazione” comemonitoraggio del progresso della conoscenzamonitoraggio del progresso della conoscenza

…La valutazione … dovrebbe sfociare nell’autovalutazione….ogni

settimana o quindicina,…[per ogni] ragazzo [si] dovrebbe compilare un

grafico, in modo che, da un confronto col grafico [della settimana]

precedente, risultino i progressi ed i regressi…

Page 15: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200315

L'idea non è nuovaMonitoraggio del progresso del peso nell’infanzia

SottopesoA

Nella normaB

SovrappesoC

Peso

del

bam

bino

in K

g

0 anni 1 anno 2 anni

Età del bambino

Peso “medio”

Limite di tolleranza superiore

Limite di tolleranza inferiore

Limite di tolleranza inferiore

Attenzione familiare

Feedback

Page 16: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200316

Da fenomeno individuale a fenomeno collettivo

0 anni 1 anno 2 anni

Peso

del

bam

bino

in K

g

Età del bambino

...da feedback individuale a feedback sociale

Famiglia APaese A

Paese BFamiglia B

Intervento dell'autorità

sanitaria

Page 17: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200317

Dal monitoraggio del “peso” a quello della… “conoscenza”

Le conoscenze possedute ad un

determinato stadio evolutivo dipendono

dal livello di conoscenze pregresse

Conoscenze attuali

Conoscenze pregresse

IstruzioneIstruzione

Età

Il peso del bambino cresce all’aumentare dell'

età

Peso Sviluppo infantileSviluppo infantileIpotesi di base

Modelli stimati dai dati

risultato: “peso”strumento: “bilancia”

risultato: “conoscenza”strumento:

“valutazione sommativa”

Misure dei risultati del processo

Page 18: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200318

0 anni 1 anno 2 anni

Monitoraggio del progresso del peso nell’infanziaPe

so d

el b

ambi

no in

Kg

Età del bambino

Peso “medio”

Limite di tolleranza inferiore

Limite di tolleranza superiore

SottopesoA

Nella normaB

SovrappesoC

Attenzione familiare

Monitoraggio del progresso della conoscenzaC

onos

cenz

e at

tual

i

Conoscenza “media”

Estremo superiore

Estremo inferiore

Conoscenze pregresse

10 20 30

SottopesoA

Nella normaB

Apprendimento inferiore alla

norma

SovrappesoCApprendimento superiore alla

norma

Attenzione familiare e

dell'insegnante

Feedback

Best practice:quali le ragioni del

successo?

Page 19: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200319

Value Added Line & Progress Chart

Risultato alla fine delle elementari pari a

30con un

UK, 2001

Risultato atteso alla fine della

media inferiore

per uno

studente

Page 20: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200320

Value Added Line & Progress Chart

Risultato alla fine delle elementari pari a

Risultato atteso alla fine della

media inferiore

studente

30per uno

con un

UK, 2001

80

40value added

value added60

Page 21: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200321

L’informazione sul valore aggiunto per tutti gli studenti della scuola

Studenti con Valore

aggiuntopositivo

Studenti con Valore

aggiuntonegativo

Page 22: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200322

Value Added Line & Progress Chart

Livello alla fine delle elementari

Livello atteso alla fine della

media inferiore

Disciplina A

Disciplina B

Page 23: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200323

Value Added Line & Progress Chart

Page 24: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200324

Valore aggiunto a livello di singola disciplina

Media aritmetica del Valore Aggiunto tra i diversi studenti

MediaIntervallo di confidenza

+( ++ + + + ++ … )

n

Page 25: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200325

Valore aggiunto nelle diverse discipline per gli studenti di una stessa classe

++ … )++ … )

Matematica

“nella norma”

“sopra la norma”

“sotto la norma”

Storia+( +

+ + + + n+( +

+ + + + nItaliano

Media nazionale

Page 26: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200326

Value Added Line & Progress Chart

Livello alla fine delle elementari

Livello atteso alla fine della

media inferiore

Scuola A

Scuola B

Page 27: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200327

Valore aggiunto delle scuoleriguardo alla disciplina “X”

Istituto “Dante”

Istituto “Gioberti”

Istituto “Parini”

“nella norma”

“sopra la norma”

“sotto la norma”

Media nazionale

Page 28: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200328

Valore aggiunto:informazione cruciale per

la Valutazione Formatival’Autocritica a livello di scuola

la Verifica dei risultati dall’esterno

comprendere i punti di forza e di debolezza nel processo formativo a livello di singolo studente, di singola classe, di disciplina, di

singola scuola

Page 29: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200329

Valore Aggiunto:strumento di comprensione del

Processo Formativo

Caratteristiche studente

Famiglia e Società

•Curriculum

•Risorse

•Qualità della gestione

•Qualità dell’insegnamento

•Composizione della classe

•Metodi

Scuola

Quale pesohanno questi

fattori sul risultato?

ConoscenzeCompetenze

ecc.

Page 30: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200330

Fattori influenti: quelli veramente rilevanti

Qualità degli insegnanti

27

Valore Aggiunto :strumento di comprensione del

Processo Formativo

ConoscenzeCompetenze

ecc.

Caratteristiche individuali

Famiglia e Società

•Curriculum

•Risorse

•Qualità della gestione

•Qualità dell’insegnamento

•Composizione della classe

•Metodi

Scuola

Conoscenze pregresse dello

studente

Qualità degli insegnanti della scuola

“precedente”

Page 31: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200331

http://www.educationnext.org/20021/50.pdfGoldhaber (2002)

Page 32: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200332

http://www.educationnext.org/20021/50.pdfGoldhaber (2002)

Fattori esplicativi dell’effetto dell’insegnante

3%97%

Caratteristiche inosservabili:

entusiasmo, capacità di

trasmettere la conoscenza ecc.

Caratteristiche osservabili e misurabili:

anni di esperienza, livello di

istruzione e specializzazione,

performance linguistiche

Page 33: Presentazione di PowerPointadiscuola.it/Pubblicazioni/Convegno2003_R/Pdf/ADiGori.pdfADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 2003 7 gli studenti singolo

ADi Convegno: Autonomia e Valutazione: un binomio indivisibile - 28 Feb 200333

Fonti della disuguaglianza

27

Valore Aggiunto:strumento di comprensione del

Processo Formativo

ConoscenzeCompetenze

ecc.

Caratteristiche individuali

Famiglia e Società

•Curriculum

•Risorse

•Qualità della gestione

•Qualità dell’insegnamento

•Composizione della classe

•Metodi

Scuola

sociali e culturali dovuti all’Istituzione

ConoscenzeCompetenze